이상값(outliers)

개념

다른 대부분의 데이터와 상이한 특성을 가지는 자료, 또는 전형적인 값이 아닌 비정상적인 값

이상값 찾는 방법(outlier detection)

(1) 단변량인 경우(univariate approach)

  •  방법1 : n이 10보다 큰 자료의 도수 분포가 종형일 때, 이 자료에서 측정값의 z-value가 3이상 또는 -3 이하인 것들은 모두 이상값으로 판단
  • 방법 2 : 자료의 제1사분위수(Q1), 제3사분위수(Q3) 및 사분위간 범위인 IQR = Q3-Q1를 계산하여 Q1-1.5xIQR 보다 작거나 Q3+1.5xIQR 보다 큰 값을 가진 측정값들을 자료에서 찾아 이상값으로 판단

 (2) 이변량인 경우(Bivariate Approach)

  • 범주별로 상자그림(box plot)을 그려서 추세 파악 

이 블로그의 인기 게시물

USArrests(1973년 미국 50개주 십만명당 강력범죄수)

# 4개 변수간 산점도 > library(datasets) > data("USArrests") > pairs(USArrests, panel=panel.smooth, main="USArrests data")     # 주성분 분석실시 > US.prin <- princomp(USArrests, cor=TRUE)     # 주성분 분석결과 요약 > summary(US.prin) Importance of components: Comp.1 Comp.2 Comp.3 Comp.4 Standard deviation 1.5748783 0.9948694 0.5971291 0.41644938 Proportion of Variance 0.6200604 0.2474413 0.0891408 0.04335752 Cumulative Proportion 0.6200604 0.8675017 0.9566425 1.00000000     # Murder, Assault, UrbanPop, Rape 4개 변수의 주성분 Comp.1~Comp.4에 대한 기여도 > loadings(US.prin) Loadings: Comp.1 Comp.2 Comp.3 Comp.4 Murder -0.536 0.418 -0.341 0.649 Assault -0.583 0.188 -0.268 -0.743 UrbanPop -0.278 -0.873 -0.378 0.134 Rape -0.543 -0.167 0.818 Comp.1 Comp.2 Comp.3 Comp.4 SS loadings 1.00 1.00 1.00 1.00 Proportion Var 0.25 0.25 0.25 0.25 Cumulative ...
자세한 내용 보기

군집분석(Cluster Analysis)

개념 여러 개체들을 대상으로 몇 개의 특성변수들을 측정한 후 이 변수들을 이용하여 개체들 사이의 유사성(similarity), 비유사성(dissimilarity)의 정도를 측정하여 개체들을 가까운 순서대로 군집화하는 통계분석방법 사전에 알려진 군집에 대한 정보가 없다고 가정(군집의 개수나 구조에 대한 가정 없이 데이터로부터 거리를 기준으로 군집화 유도) 특징 비지도학습(unsupervised learning)에 해당 : 목표변수(종속변수)의 정의가 없이 학습 가능 데이터를 분석의 목적에 따라 적절한 군집으로 분석자가 정의 가능 판별분석과 차이 : 판별분석은 사전에 집단이 나누어져 있어야 하지만, 군집분석은 집단이 없는 상태에서 집단을 구분 분류 계층적방법(hierarchical method) 사전에 군집수 K를 정하지 않고 단계적으로 서로 다른 군집결과를 제공하는 방식 종류 : 집괴법(agglomerative method), 분리법(divisive method) 비계층적방법(non-hierarchical method) 사전에 군집수 K를 정한 후 각 객체를 K개 중의 하나 군집에 배정하는 방식 각 군집의 대표값 또는 대표객체 고려 필요 계층적방법 종류 집괴법(agglomerative method) 각 객체를 하나의 군집으로 간주함을 시작으로 유사한 객체들을 묶어 군집으로 만들고 다시 유사한 군집들을 묶어 새로운 군집을 만들어가는 과정을 전체의 객체가 하나의 군집이 되기까지 반복한 후, 어떤 규칙에 의해 최종적인 군집결과를 제공하는 방식 분리법(divisive method) 전체 객체를 하나의 군집으로 간주함을 시작으로 유사성이 떨어지는 객체들을 분리시켜 다른 군집으로 만들어가는 과정을 각 객체가 하나의 군집이 될 때까지 반복한 후, 어떤 규칙에 의하여 최종적인 군집결과를 제공하는 것 집괴법의 역순   거리측정 연속형 데이터 : 유클리드 거리, 표준화 거리, 마할...
자세한 내용 보기

SRTP(Secure Real-Time Transport Protocol)

이미지
개념 SRTP는 실시간으로 전송되는 멀티미디어 데이터를 암호화하여 송수신하는 프로토콜 RTP 패킷의 암호화, 메시지 인증, 재전송 공격 방어 등의 정보 보호 서비스 제공 특징 1) 보안측면 Payload 암호화 RTP/RTCP Packet의 무결성 보장 및 Replay packet 보호 2) 기능측면 새로운 암호 변환 체계 제공 낮은 bandwidth 비용 3) 변환측면 낮은 처리비용, 적은 공간 차지(code size, data info, replay list) Transport, Network, Physical Layer에 대한 독립적 RTP 패킷 손실, 재전송에 대한 강한 내성 구조 크기(header/payload) : 12+2 / 170byte payload 암호화 : AES, ARIA, etc 추가 Header : RTP Header + Authentication Tag, Master Key Identifier cryptographic transform
자세한 내용 보기