KDD 분석 방법론

개념

  • KDD(Knowledge Discovery in Databases)는 1996년 Fayyad가 체계적으로 정리한 데이터 마이닝 프로세스
  • 데이터베이스에서 의미있는 지식을 탐색하는 데이터 마이닝부터, 기계학습, 인공지능, 패턴인식, 데이터 시각화 등에서 응용될 수 있는 구조


패턴 찾는 프로세스(9개 단계)


  • 분석 대상 비즈니스 도메인의 이해
  • 분석 대상 데이터셋 선택과 생성
  • 데이터에 포함되어 있는 노이즈(Noise)와 이상값(outlier) 등을 제거하는 정제작업이나 전처리
  • 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하는 데이터 변경
  • 분석 목적에 맞는 데이터 마이닝 기법 선택
  • 분석 목적에 맞는 데이터 마이닝 알고리즘 선택
  • 데이터 마이닝 시행
  • 데이터 마이닝 결과에 대한 해석
  • 데이터 마이닝에서 발견된 지식 활용

이 블로그의 인기 게시물

USArrests(1973년 미국 50개주 십만명당 강력범죄수)

# 4개 변수간 산점도 > library(datasets) > data("USArrests") > pairs(USArrests, panel=panel.smooth, main="USArrests data")     # 주성분 분석실시 > US.prin <- princomp(USArrests, cor=TRUE)     # 주성분 분석결과 요약 > summary(US.prin) Importance of components: Comp.1 Comp.2 Comp.3 Comp.4 Standard deviation 1.5748783 0.9948694 0.5971291 0.41644938 Proportion of Variance 0.6200604 0.2474413 0.0891408 0.04335752 Cumulative Proportion 0.6200604 0.8675017 0.9566425 1.00000000     # Murder, Assault, UrbanPop, Rape 4개 변수의 주성분 Comp.1~Comp.4에 대한 기여도 > loadings(US.prin) Loadings: Comp.1 Comp.2 Comp.3 Comp.4 Murder -0.536 0.418 -0.341 0.649 Assault -0.583 0.188 -0.268 -0.743 UrbanPop -0.278 -0.873 -0.378 0.134 Rape -0.543 -0.167 0.818 Comp.1 Comp.2 Comp.3 Comp.4 SS loadings 1.00 1.00 1.00 1.00 Proportion Var 0.25 0.25 0.25 0.25 Cumulative Var 0.25 0
자세한 내용 보기

SRTP(Secure Real-Time Transport Protocol)

이미지
개념 SRTP는 실시간으로 전송되는 멀티미디어 데이터를 암호화하여 송수신하는 프로토콜 RTP 패킷의 암호화, 메시지 인증, 재전송 공격 방어 등의 정보 보호 서비스 제공 특징 1) 보안측면 Payload 암호화 RTP/RTCP Packet의 무결성 보장 및 Replay packet 보호 2) 기능측면 새로운 암호 변환 체계 제공 낮은 bandwidth 비용 3) 변환측면 낮은 처리비용, 적은 공간 차지(code size, data info, replay list) Transport, Network, Physical Layer에 대한 독립적 RTP 패킷 손실, 재전송에 대한 강한 내성 구조 크기(header/payload) : 12+2 / 170byte payload 암호화 : AES, ARIA, etc 추가 Header : RTP Header + Authentication Tag, Master Key Identifier cryptographic transform
자세한 내용 보기

군집분석(Cluster Analysis)

개념 여러 개체들을 대상으로 몇 개의 특성변수들을 측정한 후 이 변수들을 이용하여 개체들 사이의 유사성(similarity), 비유사성(dissimilarity)의 정도를 측정하여 개체들을 가까운 순서대로 군집화하는 통계분석방법 사전에 알려진 군집에 대한 정보가 없다고 가정(군집의 개수나 구조에 대한 가정 없이 데이터로부터 거리를 기준으로 군집화 유도) 특징 비지도학습(unsupervised learning)에 해당 : 목표변수(종속변수)의 정의가 없이 학습 가능 데이터를 분석의 목적에 따라 적절한 군집으로 분석자가 정의 가능 판별분석과 차이 : 판별분석은 사전에 집단이 나누어져 있어야 하지만, 군집분석은 집단이 없는 상태에서 집단을 구분 분류 계층적방법(hierarchical method) 사전에 군집수 K를 정하지 않고 단계적으로 서로 다른 군집결과를 제공하는 방식 종류 : 집괴법(agglomerative method), 분리법(divisive method) 비계층적방법(non-hierarchical method) 사전에 군집수 K를 정한 후 각 객체를 K개 중의 하나 군집에 배정하는 방식 각 군집의 대표값 또는 대표객체 고려 필요 계층적방법 종류 집괴법(agglomerative method) 각 객체를 하나의 군집으로 간주함을 시작으로 유사한 객체들을 묶어 군집으로 만들고 다시 유사한 군집들을 묶어 새로운 군집을 만들어가는 과정을 전체의 객체가 하나의 군집이 되기까지 반복한 후, 어떤 규칙에 의해 최종적인 군집결과를 제공하는 방식 분리법(divisive method) 전체 객체를 하나의 군집으로 간주함을 시작으로 유사성이 떨어지는 객체들을 분리시켜 다른 군집으로 만들어가는 과정을 각 객체가 하나의 군집이 될 때까지 반복한 후, 어떤 규칙에 의하여 최종적인 군집결과를 제공하는 것 집괴법의 역순   거리측정 연속형 데이터 : 유클리드 거리, 표준화 거리, 마할라노비스
자세한 내용 보기