텍스트 마이닝(Text Mining)

개념

  • 텍스트로부터 고품질의 정보를 도출하는 과정으로 입력된 텍스트를 구조화해 그 데이터에서 패턴을 도출한 후 결과를 평가/해석하는 과정
  • 다양한 포맷의 문서로부터 단어의 매트릭스로 만들어 추가분석이나 데이터마이닝 기법을 적용해 통찰(insight)을 얻거나 의사결정을 지원하는 방법
  • 감성분석(sentiment anaysis), 워드 클라우드(word cloud), 문서의 요약(summarization), 분류(classification), 군집(clustering), 특성추출(feature extraction) 등에 활용


텍스트 마이닝 기능

  • 문서 요약(summarization)
  • 문서 분류(classification)
  • 문서 군집(clustering)
  • 특성 추출(feature extraction)


정보 검색의 적절성

  • 정확도(precision) : 분석 모델이 결과 중에서 정답과 일치하는 비율
  • 재현율(recall) : 실제 정답 중에서 분석 모델에서 정답이라고 내놓은 결과의 비율



Corpus

  • 텍스트 마이닝 절차 중 텍스트의 정제, 통합, 선택, 변환의 과정을 거친 구조화된 단계로서 더 이상 추가적인 절차 없이 텍스트 마이닝 알고리즘 실험에서 활용될 수 있는 상태

VCorpus

  • 메모리에서만 유지하는 Corpus

PCorpus

  • R외부의 DB나 파일로 관리되는 Corpus


Term-Document Matrix

  • 문서번호와 단어 간의 사용 여부 또는 빈도수를 이용해 만들어진 matrix


Dictionary

  • 복수의 문자들의 집합으로 분석에 사용하고자 하는 단어들의 집합

이 블로그의 인기 게시물

USArrests(1973년 미국 50개주 십만명당 강력범죄수)

# 4개 변수간 산점도 > library(datasets) > data("USArrests") > pairs(USArrests, panel=panel.smooth, main="USArrests data")     # 주성분 분석실시 > US.prin <- princomp(USArrests, cor=TRUE)     # 주성분 분석결과 요약 > summary(US.prin) Importance of components: Comp.1 Comp.2 Comp.3 Comp.4 Standard deviation 1.5748783 0.9948694 0.5971291 0.41644938 Proportion of Variance 0.6200604 0.2474413 0.0891408 0.04335752 Cumulative Proportion 0.6200604 0.8675017 0.9566425 1.00000000     # Murder, Assault, UrbanPop, Rape 4개 변수의 주성분 Comp.1~Comp.4에 대한 기여도 > loadings(US.prin) Loadings: Comp.1 Comp.2 Comp.3 Comp.4 Murder -0.536 0.418 -0.341 0.649 Assault -0.583 0.188 -0.268 -0.743 UrbanPop -0.278 -0.873 -0.378 0.134 Rape -0.543 -0.167 0.818 Comp.1 Comp.2 Comp.3 Comp.4 SS loadings 1.00 1.00 1.00 1.00 Proportion Var 0.25 0.25 0.25 0.25 Cumulative Var 0.25 0
자세한 내용 보기

SRTP(Secure Real-Time Transport Protocol)

이미지
개념 SRTP는 실시간으로 전송되는 멀티미디어 데이터를 암호화하여 송수신하는 프로토콜 RTP 패킷의 암호화, 메시지 인증, 재전송 공격 방어 등의 정보 보호 서비스 제공 특징 1) 보안측면 Payload 암호화 RTP/RTCP Packet의 무결성 보장 및 Replay packet 보호 2) 기능측면 새로운 암호 변환 체계 제공 낮은 bandwidth 비용 3) 변환측면 낮은 처리비용, 적은 공간 차지(code size, data info, replay list) Transport, Network, Physical Layer에 대한 독립적 RTP 패킷 손실, 재전송에 대한 강한 내성 구조 크기(header/payload) : 12+2 / 170byte payload 암호화 : AES, ARIA, etc 추가 Header : RTP Header + Authentication Tag, Master Key Identifier cryptographic transform
자세한 내용 보기

군집분석(Cluster Analysis)

개념 여러 개체들을 대상으로 몇 개의 특성변수들을 측정한 후 이 변수들을 이용하여 개체들 사이의 유사성(similarity), 비유사성(dissimilarity)의 정도를 측정하여 개체들을 가까운 순서대로 군집화하는 통계분석방법 사전에 알려진 군집에 대한 정보가 없다고 가정(군집의 개수나 구조에 대한 가정 없이 데이터로부터 거리를 기준으로 군집화 유도) 특징 비지도학습(unsupervised learning)에 해당 : 목표변수(종속변수)의 정의가 없이 학습 가능 데이터를 분석의 목적에 따라 적절한 군집으로 분석자가 정의 가능 판별분석과 차이 : 판별분석은 사전에 집단이 나누어져 있어야 하지만, 군집분석은 집단이 없는 상태에서 집단을 구분 분류 계층적방법(hierarchical method) 사전에 군집수 K를 정하지 않고 단계적으로 서로 다른 군집결과를 제공하는 방식 종류 : 집괴법(agglomerative method), 분리법(divisive method) 비계층적방법(non-hierarchical method) 사전에 군집수 K를 정한 후 각 객체를 K개 중의 하나 군집에 배정하는 방식 각 군집의 대표값 또는 대표객체 고려 필요 계층적방법 종류 집괴법(agglomerative method) 각 객체를 하나의 군집으로 간주함을 시작으로 유사한 객체들을 묶어 군집으로 만들고 다시 유사한 군집들을 묶어 새로운 군집을 만들어가는 과정을 전체의 객체가 하나의 군집이 되기까지 반복한 후, 어떤 규칙에 의해 최종적인 군집결과를 제공하는 방식 분리법(divisive method) 전체 객체를 하나의 군집으로 간주함을 시작으로 유사성이 떨어지는 객체들을 분리시켜 다른 군집으로 만들어가는 과정을 각 객체가 하나의 군집이 될 때까지 반복한 후, 어떤 규칙에 의하여 최종적인 군집결과를 제공하는 것 집괴법의 역순   거리측정 연속형 데이터 : 유클리드 거리, 표준화 거리, 마할라노비스
자세한 내용 보기