개발/자격증 공부 42

빅데이터분석기사 필기 요약(6. 분석 모형 설계)

분석 방법 통계 분석(Statistical analysis) : 특정 집단이나 불확실한 현상을 데이터를 통해 이해하고 추론을 통해 의사결정하는 과정 기술 통계 : 데이터를 요약/정리하고 이해하기 위해 평균, 표준편차 등 기초통계량을 구하거나 그래프로 표현하는 분석방식 추론 통계 : 수집된 데이터를 기반으로 모집단에 대해 추정하고 가설을 검정하는 분석 방법 데이터 마이닝(Data Mining) : 데이터에 숨어있는 유용한 정보를 찾아내는 과정. 분류 분석, 추정 분석, 예측 분석, 연관 분석, 군집 분석, 기술 분석 등이 존재 머신 러닝(Machine Learning) : 분석 모형 알고리즘이 데이터를 학습하고 학습한 정보를 바탕으로 결과를 출력하는 분석방법. 종속변수의 존재 여부, 학습 방법 등에 따라 ..

빅데이터분석기사 필기 요약(5. 통계 기법 이해)

기술 통계(Descriptive Statistics) 데이터 분석의 목적으로 수집된 데이터를 통계적으로 정리하고 요약하는 기초적인 통계 기법. 데이터 분석에 쓰이는 자료를 수집할 때 전수조사가 불가능한 경우가 대다수이기 때문에 일반적으로 표본을 추출해서 분석을 수행한다. 데이터 요약 중심 경향 통계량(Central tendency) 평균(Mean) : 자료를 모두 더한 후 개수로 나눈 값. 모든 자료에 같은 가중치를 부여한다. 중위수(Median) : 모든 데이터값을 크기 순서에 따라 오름차순으로 정렬하였을 때 중앙에 위치한 데이터값. 이상값에 영향을 받지 않는다. 최빈수(Mode) : 데이터값 중에서 빈도수가 가장 높은 데이터 값 산포도 통계량(Dispersion) 범위(Range) : 데이터값 중에서..

빅데이터분석기사 필기 요약(4. 데이터 탐색)

탐색적 데이터 분석의 특성 저항성 : 자료의 일부가 기존과 현격히 다른 값으로 대체되었을 때 영향을 적게 받는 성질 잔차 : 관찰값들이 주 경향으로부터 얼마나 벗어났는지를 나타내는 성질 자료 재표현 : 데이터 분석과 해석을 단순화할 수 있도록 원래 변수를 적당한 척도로 변경하는 것(로그/제곱급/연수 변환 등) 현시성 : 자료를 그래프를 활용해서 시각적으로 표현함으로 자료의 구조를 효율적으로 파악하게 된다는 성질 개별 데이터 탐색 방법 범주형 데이터(질적 데이터) : 명목형 변수와 순서형 변수에 대한 데이터 탐색. 빈도수, 최빈값, 비율, 백분율 등을 이용하여 데이터의 분포 특성을 중심성, 변동성 측면에서 파악. 막대형 그래프를 주로 이용함 수치형 데이터(양적 데이터) : 이산형 변수와 연속형 변수에 대한..

빅데이터분석기사 필기 요약(3. 데이터 전처리)

데이터 정제 데이터 전처리 : 데이터를 정제한 후 분석 변수를 처리하는 순서로 진행함 데이터 정제 : 분석 작업이 시작되기 전 오류를 일으킬 수 있는 결측값을 채우거나 이상값을 제거하는 사전 작업 결측값(Missing Value) : 필수 데이터가 입력되지 않고 누락된 값. 결측값은 N/A로 표시하거나 빈칸으로 표현한다. 결측값은 분석 결과에 큰 영향을 미치기 때문에 데이터를 아예 제거하거나, 결측값을 중심 경향성 통계량(평균값/최빈값)으로 대체할 수 있다. 이상값(Outlier) : 관측된 데이터 범주에서 일반적인 데이터 값의 범위를 벗어난 값을 말한다. 일반적으로 상한보다 높으면 상한값으로 대체하고, 하한보다 낮으면 하한값으로 대체하는 방법으로 처리할 수 있다. 데이터 결측값의 유형 완전 무작위 결측..

빅데이터분석기사 필기 요약(2. 데이터 수집 및 저장 계획)

데이터 수집 프로세스 데이터 수집은 수집 대상 선정, 데이터 수집 세부계획 수립, 테스트 수집 실행의 프로세스로 나뉜다. 데이터 수집 기술 정형 데이터 :FTP, Open API 비정형 데이터 : Crawling, RSS, Open API, FTP, Scrapy, Apache Kafka 반정형 데이터 : Sensing, Streaming, Flume, Scribe, Chukwa 데이터 유형-구조 정형 데이터 : 정형화된 스키마 구조를 가지고 고정된 필드에 저장되는 행과 열로 구성된 데이터 관계형 데이터베이스, 스프레드 시트 등이 존재 반정형 데이터 : 스키마 구조 형태를 가지고 메타데이터를 포함하며, 값과 형식이 일관되지 않은 데이터 XML, HTML, 웹 로그, 알람, JSON, RSS, 센서 데이터 ..

빅데이터분석기사 필기 요약(1. 데이터 이해 및 분석 계획)

다른 자격증 공부 중에서 해당 공부를 제일 흥미롭게 했던 것 같다. 실기 문제는 필기 20% 정도에 직접 코딩이 포함되어 있으니 필기를 위해서 관련 이론 공부를 진행했던 것으로 기억한다. 이에 정보처리기사 요약 이후 필자가 어떠한 방식으로 필기 공부를 진행했는지 빅데이터 분석기사 요약본을 공개 발행하여 소개하고자 한다. 여러분도 이 글들을 보고 자격증 공부에 도움이 되었으면 하는 바람이다. 1. 빅데이터의 이해 DKIW 피라미드 데이터(Data) : 가공되기 전의 객관적 수치 또는 기호 정보(Information) : 데이터의 가공 및 처리를 통해 도출된 현상 지식(Knowledge) : 정보의 구조화를 통해 도출되는 고유의 아이디어(개인 아이디어라고 생각) 지식은 그 존재의 형태에 따라 암묵지와 형식지..

정보처리기사 최종 정리 노트 - 7

IPv4의 확장형, 대안으로 나온 것으로 128비트를 16비트씩 콜론으로 구분하여 사용하는 프로토콜 체계는? 더보기 IPv6 데이터베이스 회복 기법 중 rollback 시 redo, undo가 모두 실행되는 트랜잭션 처리법으로 트랜잭션 수행 중에 갱신 결과를 DB에 즉시 반영한다. 데이터를 변경하면 로그 파일로 저장되며 모든 내용 수정 시 즉시 데이터베이스에 반영된다. 더보기 즉시 갱신 기법 스니핑에 대해서 서술하시오 더보기 상대방의 데이터를 훔쳐보기만 하는 수동적 공격형태 컴퓨터 네트워킹에서 쓰이는 용어로 IP 패킷의 TCP/UDP 포트 숫자와 소스 및 목적지의 IP 주소 등을 재기록하면서 라우터를 통해 네트워크 트래픽을 주고받는 기술로 네트워크 주소 변환이라고 한다. 더보기 NAT, Network A..

자격증 공부를 왜 해야할까? - 자격증 7개 따며 느낀 것들

요즘 필자가 했던 프로젝트들을 정리하고 본인의 역량과 장단점을 쓰는데 정신이 없는 하루를 보내고 있다. 그러다 문득 필자가 따놓은 자격증들을 보며 정말 많은 자격증을 땄구나... 를 느끼게 되었다. 본인이 취득한 기술 자격증을 추려보니 총 7개의 자격증이 있음을 알게 되었다. 정보처리산업기사, 워드프로세서, 사무자동화산업기사, 정보기기운용기능사, 전자계산기조직응용기사, 정보처리기사, 빅데이터분석기사 그 중에서 기사 자격증은 총 3개를 취득하였고, 그 기타 자격증들은 시간이 될 때 겸사겸사 취득한 자격증이었던 것으로 기억한다. 적어도 현업자의 시선은 아니지만 자격증에 관련해서는 '나란 사람은 이런 이야기를 할 자격이 있구나'라는 이야기를 떼며 해당 고충에 대한 이야기를 진행해 본다. 그냥 이래서 좋다, 안..

정보처리기사 최종 정리 노트 - 6

리팩토링의 목적에 대해 서술하시오. 더보기 코드의 간결성, 재사용성 증대, 소프트웨어를 사용하기 쉽고 수정하기 쉽도록 만드는 것 학생 테이블에서 이름이 민수인 튜플을 삭제하도록 SQL문을 작성하시오 더보기 DELETE FROM 학생 WHERE 이름='민수' TCP/IP에서 신뢰성 없는 IP를 대신하여 송신 측으로 네트워크의 IP 상태 및 에러 메시지를 전달해 주는 프로토콜은? 더보기 ICMP, Internet Control Message Protocol 심리학자 톰 마릴은 컴퓨터가 메시지를 전달하고 메시지가 제대로 도착했는지 확인하며 도착하지 않았을 시 메시지를 재전송하는 일련의 방법을 '기술적 은어'를 뜻하는 (1)이라는 용어로 정의하였다. 더보기 프로토콜, Protocol EAI 구축 유형 4가지에 ..

정보처리기사 최종 정리 노트 - 5

정보시스템 운영 중 서버가 다운되거나 자연재해나 시스템 장애 등의 이유로 대고객 서비스가 불가능한 경우가 종종 발생한다. 이와 같은 상황에서의 '비상사태 또는 업무중단 시점부터 업무가 복구되어 다시 정상가동될 때까지의 시간'을 의미하는 용어를 쓰시오 더보기 목표 복구 시간, RTO, Recovery Time Objective 비동기식 자바스크립트 XML 통신기법을 뭐라고 하는가? 더보기 AJAX 고객의 요구사항 변화에 유연하게 대응하기 위해 일정한 주기를 반복하면서 개발하는 방법론. 워터폴에 대비되는 방법론으로 최근 회사에서 각광받는 방법론 더보기 애자일, Agile 다음 조건을 만족하는 SQL 문을 작성하시오. 학번, 이름을 학생 테이블에서 검색하시오 3,4학년인 학생만을 검색하도록 하며, IN 구문을..