김파파의 일상

1. 빅데이터의 가치 빅데이터에서 특정 데이터의 가치를 산출하는 일은 어렵다. 데이터를 가공하고 다양한 목적으로 사용하는 일이 많아지면서 특정 데이터를 누가 언제 어디서 어떤 목적으로 사용했는지 파악하기 어렵다. 기존에 없는 새로운 가치를 창출한 경우 그 가치를 측정하는 것도 어렵다. 분석기법이 발달하면서 기존에는 쓸모없어 보이던 데이터도 훌륭한 자료가 될 수 있기에 데이터의 가치를 측정하는 것은 더욱 어려워졌다. 2. 빅데이터의 활용 빅데이터의 활용은 정부, 기업, 개인 모두의 생활을 스마트하게 만들었다. 정부는 빅데이터를 활용해 사회 변화를 추정하고 각종 정보를 추출할 수 있다. 이와 같은 환견탐색을 통해 상황을 분석하고 미래를 대비할 수 있다. 기업은 빅데이터를 활용해 경쟁력을 높이고 생산성을 향상..

1. 빅데이터 big data 의 정의 빅데이터는 다양하게 정의된다. 크기 관점에서 빅데이터는 데이터의 수용 한계를 초과하는 규모의 데이터라고 할 수 있다. 분석 관점에서 빅데이터는 대규모 데이터로부터 가치있는 자료를 추출하도록 수집, 발굴, 분석을 지원하는 기술 및 설계도(아키텍처)라고 볼 수 있다. 변화(가치) 관점에서 빅데이터는 대용량 데이터를 통해 기존의 데이터에서는 얻을 수 없었던 새로운 가치를 발견하여 사회에 영향(변화)을 끼치는 일이라고 볼 수 있다. 2. 빅데이터의 특징 : 3V volume, variety, velocity 데이터의 양 volume : 모든 데이터를 수집하기에 양이 많다. 데이터의 다양성 variety : 정형, 비정형 데이터를 모두 분석한다. 페이스북 댓글, 유튜브 영상..

1. DB 구축의 화두 1) OLTP online transaction processing 온라인 트랜잭션 처리를 말하며 네트워크 상의 여러 사용자가 실시간으로 DB 의 데이터를 갱신하거나 조회하는 등의 처리방식을 말한다. 다수의 이용자가 거의 동시에 이용할 수 있다. 사용자에게 결과를 즉석에서 되돌려 보내주기 때문에, 신용카드 조회나 자동화기기 현금 지급 등 금융관련 전산에 많이 쓰인다. 트랜잭션 단위로 하나씩 처리한다. 일괄처리 시스템과 반대되는 개념이다. 참고로 일괄처리 batch 시스템이란 일괄로 처리할 수 있는 요청에 대해 유사한 자료를 모아 한꺼번에 처리하는 방식을 말한다. 하나의 작업이 끝나기 전까지 다른 작업을 할 수 없다. 급여계산, 성적처리 등에 이용된다. 2) OLAP online a..

1. 데이터베이스 database 의 정의 데이터베이스란 단어 그대로 데이터 data 의 집합 base 을 의미한다. 다양하고 많은 정보를 담아야 하고, 체계적으로 저장해야 하며 다수의 이용자가 편리하게 이용할 수 있어야 한다. 데이터베이스와 데이터베이스 관리시스템 DBMS database management system 은 다르다. DBMS 는 DB 를 구축하고 유지할 수 있도록 하는 소프트웨어를 말한다. DB 와 DBMS 를 합쳐서 DB 시스템이라고 부른다. 2. 데이터베이스의 특징 특정 조직의 업무를 수행하기 위해 필요한 데이터의 집합을 데이터베이스라고 볼 수 있다. 이 정의에 따라 데이터베이스의 특징을 살펴보면 다음과 같다. ㄱ. 자료가 중복되어 있지 않다.(통합 integrated) ㄴ. 저장 ..

1. 데이터의 정의 데이터란 무엇인지 부터 생각해보자. 공식수험서에는 옥스퍼드 대사전의 정의를 빌려 데이터를 '추론과 추정의 근거를 이루는 사실'이라고 말한다. 이론을 세우는데 근거가 되는 사실 즉, 자료를 뜻한다. 여기서 두 가지의 특성을 뽑아낼 수 있다. '객관적 사실 raw material (존재적 특성)'과 '근거 basis (당위적 특성)'다. 데이터 분석을 하는데 있어서 가장 기초가 되는 자료를 데이터라고 부르며 데이터는 객관적 사실을 기반으로 분석의 결과를 뒷받침 해주는 근거인 셈이다. 존재 그 자체로는 의미가 없고 다른 것과의 상호관계를 통해 가치를 갖는다. 데이터, 정보, 지식 등의 단어는 얼핏 비슷해 보인다. 이를 구분하기 좋게 만들어 놓은 피라미드가 있다. DIKW 피라미드인데 누가 ..

ADsP Advanced Data Analytics Semi-Professional 는 데이터분석 준 전문가의 약자다. 데이터에 대한 이해를 바탕으로 데이터 분석을 기획하고 통계 분석을 하는 사람이다. 다음 레벨이 데이터분석 전문가 ADP 이다. ADsP 는 한국데이터산업진흥원에서 주관하는 국가공인 자격증이다. 총 3 과목으로 되어 있으며 필기 시험만 본다. 반면 ADP 는 실기와 필기 시험을 본다. 1 과목 : 데이터 이해 2 과목 : 데이터 분석 기획 3 과목 : 데이터 분석 1 과목은 데이터에 대한 이해, 데이터 베이스, 빅데이터 등에 대한 정의와 특징 및 활용에 대한 기본적인 내용을 다룬다. 2 과목은 데이터 분석 방법론과 프로젝트 관리 방안, 플랜 수립 등에 대해 다룬다. 3 과목은 R 언어와 ..