ITPE & ADP

지도학습(supervised learning) 명확한 목적하에 데이터 분석을 실시하며, 분류, 추측, 예측, 최적화를 통해 사용자의 주도 하에 분석을 실시하고 지식을 도출하는 것 결과로 도출되는 값에 대해 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지를 예측하는 것 예 : O와 X를 구분 짓는 분류(classification) 비지도학습(unsupervised learning) 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것 목표 값을 사전에 정의하지 않고 데이터 자체 만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만, 새로운 유형의 인사이트를 도출하기에 유용한 방식으로 활용 예 : 데이터마이닝 기법에서 장바구니 분석, 군집분석, 기술통계 및 프로파일링

개념 bagging 계열의 대표적이며, 예측력이 우수한 알고리즘 예측결과의 정확성(Low Bias)는 개별 예측모형에 쓰이는 알고리즘(decision tree)의 평균값으로 유지되는 반면, 낮은 안정성(High Variance)는 Central Limit Theorem에 의해 낮아짐(N개의 Decision Tree가 투표를 통해 결정하는 방식)

개념 데이터를 특정 class로 분류하는 알고리즘 기계학습/데이터 마이닝의 대표적인 도구(분류기)

개념 기계학습의 한 분류 방법을 통해 여러 개의 분류기(Classifier)를 생성하고 그것들의 예측을 결합함으로써 새로운 가설(Hyphothesis)를 학습하는 방법 다양한 분류기의 예측결과를 결합함으로써 단일 분류기보다 신뢰성이 높은 예측값을 얻는 것이 목표 학습 개념도 예측값 결함 과정 simple majority voting(투표방법)을 통해 예측값 결함 대상 분류기의 다양성(diversity)가 요구됨

개념 잘못 분류된 개체들에 집중하여 새로운 분류규칙을 만드는 단계를 반복하는 방법 약한 예측모형들을 결함하여 강한 예측모형을 만드는 것 원리 예측변수 순차적 생성 원자료(raw data)의 객체들에 동일한 가중치를 부여해서 시작 모델링을 통한 예측변수들에 의해 오분류된 개체들에게 높은 가중치 부여 정분류된 객체들에 낮은 가중치를 부여

개념 배깅(bagging)은 bootstrap aggregation으로서, 주어진 데이터에 대해 여러 개의 bootstrap 자료를 생성하고 각 bootstrap 자료를 모델링 한 후 결함하여 최종의 예측 모형을 산출하는 방법 주어진 데이터(training set)에서 랜덤하게 subset을 N번 sampling 해서(observations과 features들을 random하게 sampling) N개의 예측모형을 만들어 개별 예측모형이 voding 하는 방식으로 예측결과를 결정(Low Bias는 유지하고 High Variance는 줄이는 방법) bootstrap 자료 : 단순 복원 임의 추출법(random sampling)을 통해 원자료(raw data)로 부터 크기가 동일한 여러 개의 표본 자료 예측변수 결합방법 목표변수가 연속형일 때 평균(average) 목표변수가 범주형일 때 투표(majority vote)

개념 대용량 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용하는 방법 데이터베이스 발전단계 데이터 수집(1960년대) 컴퓨터, 테이프, 디스크 데이터 접근(1970년대) RDBMS, SQL, ODBC 데이터웨어 하우징&의사결정지원(1980년대) OLAP, 데이터웨어하우스, 다차원데이터베이스 데이터 마이닝(1990년대 이후) 고급 알고리즘, 멀티프로세서 컴퓨터, 대용량 데이터베이스

개념 다양한 차원과 값을 조합해 가며 특이한 점이나 의미있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정 데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법들의 통칭 EDA 4가지 주제 저항성의 강조 잔차 계산 자료변수의 재표현 그래프를 통한 현시성

개념 기업이 데이터베이스에서 상품의 구매, 서비스 등 일련의 거래 또는 사건들 간의 규칙을 발견하기 위한 분석 흔히 장바구니 분석(Market Basket Analysis), 순차분석(Sequence Analysis)이라고 불림 장바구니 분석 장바구니에 무엇이 같이 들어있는지에 대한 분석 순차분석 A를 산 다음에 B를 산다 연관석 분석의 측도 지지도(support) : 전체 거래 중 항목 A와 항목 B를 동시에 포함하는 거래의 비율  신뢰도(confidence) : 항목 A를 포함한 거래 중에서 항목 A와 항목 B가 같이 포함될 확률  향상도(lift) : A가 주어지지 않았을 때의 품목 B의 확률에 비해 A가 주어졌을 때의 품목 B의 확률의 증가 비율

개념 베이즈 정리(Bayes' theorem)는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리 사전확률 P(A)와 우도(B|A)를 안다면, 사후확률 P(A|B)를 알수 있음 용어 사전 확률(prior probability) :  A(원인)가 발생할 확률 P(A)와 같이 결과가 나타나기 전에 결정되어 있는 확률 우도(likelihood probability) : A(원인)가 발생하였다는 조건하에서 B(결과)가 발생할 확률, P(B|A) 사후 확률(posterior probability) : B(결과)가 발생하였다는 조거나에서 A(원인)가 발생하였을 확률 

     

개념 CART는 지니 지수(범주형 목표변수인 경우 적용) 또는 분산의 감소량(연속형 목표변수인 경우 적용)을 이용하여 이진분리(binary split)를 수행하는 알고리즘 stopping criteria all cases in a node have identical values for all predictors the depth of the tree has reached its pre-specified maximum value the size of the node is less than a pre-specified minimum node size the node becomes pure the maximum decrease in impurity is less than a pre-specified value

개념 의사결정규칙(decision rule)을 도표화하여 관심대상이 되는 집단을 몇 개의 소집단으로 분류(classification)하거나, 예측(prediction)을 수행하는 분석 방법 분석단계 의사결정나무 형성 : 분석의 목적과 자료구조에 따라 적절한 분리 기준(split criterion)과 정지규칙(stopping rule)을 지정 가지치기 : 분류오류(classification error)를 크게 할 위험(risk)이 높거나 부적절한 규칙을 가지고 있는 가지(branch) 제거 타당성 평가 : 이익도표(gains chart)나 위험도표(risk chart) 또는 검정용 자료(test data)에 의한 교차타당성(cross validation) 등을 이용 해석 및 예측 : 의사결정나무를 해석하고 분류 및 예측모형 설정 응용분야 세분화(segmentation) : 관측개체를 비슷한 특성을 갖는 몇 개의 그룹으로 분할하여 각 그룹별 특성을 발견하고자 하는 경우 분류(classification) : 여러 예측변수(predicted variable)에 근거하여 목표변수(target variable)의 범주를 몇 개의 등급으로 분류하고자 하는 경우 예측(prediction) : 자료로부터 규칙을 찾아내고 이를 이용하여 미래의 사건을 예측하고자 하는 경우 차원축소 및 변수선택(data reduction and variable screening) : 매우 많은 수의 예측변수 중에서 목표변수에 큰 영향을 미치는 변수들을 골라내고자 하는 경우 교호작용효과의 파악(Interaction effect identification) : 여러 개의 예측변수들이 결합하여 목표변수에 작용하는 교호작용을 파악하고자 하는 경우 범주의 병합 또는 연속형 변수의 이산화(Category merging and discretizing continuous variable) : 범주형 목표변수의 범주를 소수의 몇 개로 병합하거나 연속형 목표변수를 몇 ...

개념 두집단(우량/불량) 간의 누적분포함수의 차이를 비교하여 동일한 분포에서 나왔는지를 검정하는 방식 누적분포함수의 거리가 최대가 되는 두 분포의 거리를 산출하여 거리의 값이 클수록 두 집단은 다른 분포에서 나온 것으로 판단

개념 ROC curve는 어떤 예측의 판단결과(binary classifier)의 performance를 보여주는 그래프 TPR(Ture Positive Rate) or sensitivity를 y 축으로, FPR(False Positive Rate) or 1-specificity를 x 축으로 표시(TPR과 FPR은 trade-off 관계) TPR = y축 = sensitivity = TP/(TP+FN) FPR = x축 = 1-specificity = 1-[TN/(TN+FP)] AUC(Area Under the Curve) ROC curve의 아래 면적 AUC가 1에 가까우면 sensitivity와 specificity가 모두 높은 것으므로 좋은 분류 모델 AUC가 0.5 이하이면 랜덤한 선택과 유사 또는 더 낮은 성능

개념 여러 개체들을 대상으로 몇 개의 특성변수들을 측정한 후 이 변수들을 이용하여 개체들 사이의 유사성(similarity), 비유사성(dissimilarity)의 정도를 측정하여 개체들을 가까운 순서대로 군집화하는 통계분석방법 사전에 알려진 군집에 대한 정보가 없다고 가정(군집의 개수나 구조에 대한 가정 없이 데이터로부터 거리를 기준으로 군집화 유도) 특징 비지도학습(unsupervised learning)에 해당 : 목표변수(종속변수)의 정의가 없이 학습 가능 데이터를 분석의 목적에 따라 적절한 군집으로 분석자가 정의 가능 판별분석과 차이 : 판별분석은 사전에 집단이 나누어져 있어야 하지만, 군집분석은 집단이 없는 상태에서 집단을 구분 분류 계층적방법(hierarchical method) 사전에 군집수 K를 정하지 않고 단계적으로 서로 다른 군집결과를 제공하는 방식 종류 : 집괴법(agglomerative method), 분리법(divisive method) 비계층적방법(non-hierarchical method) 사전에 군집수 K를 정한 후 각 객체를 K개 중의 하나 군집에 배정하는 방식 각 군집의 대표값 또는 대표객체 고려 필요 계층적방법 종류 집괴법(agglomerative method) 각 객체를 하나의 군집으로 간주함을 시작으로 유사한 객체들을 묶어 군집으로 만들고 다시 유사한 군집들을 묶어 새로운 군집을 만들어가는 과정을 전체의 객체가 하나의 군집이 되기까지 반복한 후, 어떤 규칙에 의해 최종적인 군집결과를 제공하는 방식 분리법(divisive method) 전체 객체를 하나의 군집으로 간주함을 시작으로 유사성이 떨어지는 객체들을 분리시켜 다른 군집으로 만들어가는 과정을 각 객체가 하나의 군집이 될 때까지 반복한 후, 어떤 규칙에 의하여 최종적인 군집결과를 제공하는 것 집괴법의 역순   거리측정 연속형 데이터 : 유클리드 거리, 표준화 거리, 마할...