https://ansangah.github.io/tags/datamining/DataMiningHugo Blox Builder (https://hugoblox.com)koTue, 16 Apr 2024 00:00:00 +0000https://ansangah.github.io/media/sharing.pnghttps://ansangah.github.io/tags/datamining/https://ansangah.github.io/blog/subjects/dm/Tue, 16 Apr 2024 00:00:00 +0000https://ansangah.github.io/blog/subjects/dm/<h2 id="1-데이터마이닝-개요">1. 데이터마이닝 개요</h2> <ul> <li>대규모 데이터에서 <strong>유의미한 패턴과 지식을 추출</strong>하는 과정.</li> <li>주된 단계: 데이터 정제 → 특징 추출 → 모델링/패턴 탐색 → 평가 및 시각화.</li> <li>특징: 대량(Volume), 다양성(Variety), 빠른 속도(Velocity), 정확성(Veracity)을 고려한 알고리즘 설계가 필요.</li> </ul> <hr> <h2 id="2-빈발-아이템셋-탐색frequent-itemset-mining">2. 빈발 아이템셋 탐색(Frequent Itemset Mining)</h2> <h3 id="21-개념">2.1 개념</h3> <ul> <li>거래 데이터(쇼핑 내역 등)에서 함께 등장하는 아이템 묶음을 찾는 문제.</li> <li><strong>지지도(Support)</strong>: 전체 거래 중 해당 아이템셋이 등장한 비율.<br> $$\mathrm{support}(X) = \frac{\text{X를 포함한 거래 수}}{\text{전체 거래 수}}$$</li> <li><strong>신뢰도(Confidence)</strong>: 규칙 $X \rightarrow Y$의 신뢰도는 X가 포함된 거래 중 Y도 함께 등장할 확률.</li> <li><strong>향상도(Lift)</strong>: $ \frac{P(X,Y)}{P(X)P(Y)} $로 독립성 대비 얼마나 더 자주 같이 등장하는지 측정.</li> </ul> <h3 id="22-apriori-알고리즘">2.2 Apriori 알고리즘</h3> <ul> <li><strong>하향식(Top-down)</strong> 탐색: 크기가 작은 빈발 아이템셋에서 시작하여 확장.</li> <li>원리: <strong>단조성(Apriori Principle)</strong> — 어떤 아이템셋이 빈발하지 않다면 그 초집합도 빈발하지 않음.</li> <li>단계: <ol> <li>크기 1 아이템셋 후보 생성 및 지지도 계산.</li> <li>최소 지지도보다 큰 아이템셋만 남김.</li> <li>남은 아이템셋을 조합해 $k+1$ 크기 후보를 생성.</li> <li>반복하여 전체 빈발 아이템셋 도출.</li> </ol> </li> <li>단점: 후보 생성/지지도 계산 시 많은 스캔이 필요.</li> </ul> <h3 id="23-fp-growth-frequent-pattern-growth">2.3 FP-Growth (Frequent Pattern Growth)</h3> <ul> <li>후보 생성 없이 <strong>FP-트리</strong> 구조를 이용해 패턴을 압축 저장.</li> <li>과정: <ol> <li>전체 거래를 스캔해 지지도 순으로 아이템 정렬.</li> <li>동일 순서로 트리에 삽입하여 경로 공유.</li> <li>각 아이템에 대한 조건부 트리를 구성해 재귀적으로 패턴 생성.</li> </ol> </li> <li>Apriori보다 I/O 비용이 적고 빅데이터에 효율적.</li> </ul> <h3 id="24-연관-규칙-생성">2.4 연관 규칙 생성</h3> <ul> <li>빈발 아이템셋에서 모든 가능한 분할을 생성하여 규칙 후보 생성.</li> <li>지지도·신뢰도·향상도 등 임계값을 적용해 의미 있는 규칙 선택.</li> <li>응용: 추천 시스템, 장바구니 분석, 침입 탐지.</li> </ul> <hr> <h2 id="3-유사-항목-탐색-locality-sensitive-hashinglsh">3. 유사 항목 탐색: Locality Sensitive Hashing(LSH)</h2> <h3 id="31-문제-정의">3.1 문제 정의</h3> <ul> <li>대규모 데이터셋에서 <strong>유사한 아이템을 빠르게 찾기</strong> 위한 방법.</li> <li>예: 문서 중복 탐지, 이미지 검색, 레코드 중복 제거.</li> </ul> <h3 id="32-기본-아이디어">3.2 기본 아이디어</h3> <ul> <li>해시 함수가 <strong>유사한 객체를 동일 버킷에 높은 확률로 매핑</strong>하도록 설계.</li> <li>유사도 지표에 따라 해시 패밀리를 선택: <ul> <li>Jaccard 유사도 → MinHash.</li> <li>코사인 유사도 → Random Hyperplane.</li> <li>Lp 거리 → p-안정 분포 해시.</li> </ul> </li> </ul> <h3 id="33-minhash--밴드-기법">3.3 MinHash + 밴드 기법</h3> <ul> <li>문서를 <strong>셋</strong>으로 표현하고 MinHash 시그니처(여러 해시 함수의 최소값)를 생성.</li> <li>시그니처를 r×b 밴드로 나눠 각 밴드마다 동일한 구간을 문자열로 취급해 해시 버킷에 저장.</li> <li>두 문서가 하나라도 같은 밴드-버킷에 들어가면 <strong>후보(pair)</strong> 로 간주하고 실제 유사도를 계산.</li> <li>파라미터 (r,b) 조절로 유사도 임계값을 설정. <ul> <li>더 많은 밴드(b)는 거짓 음성 감소, 더 많은 행(r)은 거짓 양성 감소.</li> </ul> </li> </ul> <h3 id="34-lsh-파이프라인">3.4 LSH 파이프라인</h3> <ol> <li>데이터 전처리 및 특징화(셋/벡터).</li> <li>LSH 시그니처 생성.</li> <li>후보군 추출.</li> <li>정확한 거리 계산 후 상위 K개 또는 임계값 이상 반환.</li> </ol> <hr> <h2 id="4-군집화clustering">4. 군집화(Clustering)</h2> <h3 id="41-개요">4.1 개요</h3> <ul> <li>레이블이 없는 데이터에서 <strong>자연스러운 그룹</strong>을 발견.</li> <li>목적: 군집 내 유사성 극대화, 군집 간 유사성 최소화.</li> <li>거리 척도: 유클리디언, 코사인, 해밍, DTW 등.</li> </ul> <h3 id="42-k-means">4.2 K-means</h3> <ul> <li>구형(球形) 군집에 적합한 대표 알고리즘.</li> <li>절차: <ol> <li>초기 중심 K개 선택 (K-means++, 랜덤).</li> <li>각 데이터 포인트를 가장 가까운 중심에 할당.</li> <li>중심 갱신(할당된 포인트 평균).</li> <li>수렴할 때까지 반복.</li> </ol> </li> <li>주의: K 값 선택(엘보우, 실루엣), 이상치 영향, 초기값 민감성.</li> </ul> <h3 id="43-계층적-군집화">4.3 계층적 군집화</h3> <ul> <li>데이터 사이 거리를 기반으로 <strong>덴드로그램</strong> 생성.</li> <li>상향식(Agglomerative): 각 포인트를 독립 군집으로 시작해 병합. <ul> <li>연결 기준: 단일(Single), 완전(Complete), 평균(Average), Ward.</li> </ul> </li> <li>하향식(Divisive): 전체를 하나의 군집으로 보고 분할.</li> <li>원하는 군집 수만큼 수평선으로 잘라 결과 도출.</li> </ul> <h3 id="44-밀도-기반-군집화-dbscan-hdbscan">4.4 밀도 기반 군집화 (DBSCAN, HDBSCAN)</h3> <ul> <li>밀도가 높은 영역을 군집으로 정의하고 희소 영역은 노이즈로 처리.</li> <li>파라미터: $\varepsilon$ (반경), MinPts(최소 포인트 수).</li> <li>장점: 임의 모양 군집 탐색, 이상치 자동 탐지.</li> </ul> <hr> <h2 id="5-그래프-기반-커뮤니티-탐지">5. 그래프 기반 커뮤니티 탐지</h2> <h3 id="51-community-detection">5.1 Community Detection</h3> <ul> <li>그래프의 노드를 <strong>내부적으로 연결이 밀집된 하위 구조</strong>로 분할.</li> <li>응용: 소셜 네트워크, 추천, 생물학 네트워크 분석.</li> </ul> <h3 id="52-모듈러리티modularity">5.2 모듈러리티(Modularity)</h3> <ul> <li>군집 내 연결 강도와 군집 간 연결 강도의 차이를 지표로 사용.</li> <li>Louvain, Leiden 알고리즘이 대표적: 모듈러리티 최대화를 반복 수행.</li> </ul> <h3 id="53-스펙트럴-클러스터링spectral-clustering">5.3 스펙트럴 클러스터링(Spectral Clustering)</h3> <ul> <li>그래프 라플라시안(Laplacian) 행렬의 고유벡터를 이용해 군집화.</li> <li>과정: <ol> <li>인접 행렬 $W$로 그래프 표현, 정도 행렬 $D$ 계산.</li> <li><strong>정규화 라플라시안</strong> $L = D^{-1/2}(D - W)D^{-1/2}$을 구성.</li> <li>$L$의 하위 k개의 고유벡터를 취해 새로운 특징 공간으로 임베딩.</li> <li>해당 공간에서 K-means 등 전통적 군집 알고리즘 수행.</li> </ol> </li> <li>장점: 비선형 구조, 비구형 군집에도 적용 가능.</li> </ul> <h3 id="54-비교">5.4 비교</h3> <ul> <li>모듈러리티 기반: 빠르지만 해상도 한계 존재.</li> <li>스펙트럴: 고유값 분해 비용이 있지만 품질 높은 분할 제공.</li> <li>실제 프로젝트에서는 그래프 크기, 희소성, 실시간 요구를 고려해 선택.</li> </ul> <hr> <h2 id="6-차원-축소dimension-reduction">6. 차원 축소(Dimension Reduction)</h2> <h3 id="61-필요성">6.1 필요성</h3> <ul> <li>고차원 데이터는 계산 비용 증가, 시각화 어려움, 차원의 저주 발생.</li> <li>차원 축소는 <strong>정보 손실을 최소화하면서 표현 차원 수를 줄이는 과정</strong>.</li> </ul> <h3 id="62-주성분-분석pca">6.2 주성분 분석(PCA)</h3> <ul> <li>공분산 행렬의 고유값 분해로 분산이 가장 큰 방향(주성분)을 찾는다.</li> <li>절차: 표준화 → 공분산 행렬 계산 → 고유값/고유벡터 → 상위 k개 선택 → 투영.</li> <li>주요 성질: 직교 변환, 선형 기법, 최대 정보 보존.</li> <li>한계: 비선형 패턴, 이상치에 민감.</li> </ul> <h3 id="63-선형-판별-분석lda">6.3 선형 판별 분석(LDA)</h3> <ul> <li>클래스 간 분산 대비 클래스 내 분산 비율을 최대화.</li> <li>지도학습 기반 차원 축소, 분류 성능 향상이 목표.</li> </ul> <h3 id="64-비선형-차원-축소">6.4 비선형 차원 축소</h3> <ul> <li>t-SNE: 국소 구조 유지, 시각화에 탁월하지만 전역 구조 왜곡 가능.</li> <li>UMAP: t-SNE보다 빠르고 전역 구조를 더 잘 유지.</li> <li>Autoencoder: 심층 신경망으로 비선형 임베딩 학습.</li> </ul> <h3 id="65-차원-축소와-lsh군집화-연계">6.5 차원 축소와 LSH/군집화 연계</h3> <ul> <li>고차원 벡터를 축소하여 LSH 효율 개선 및 노이즈 완화.</li> <li>군집화 전에 PCA로 잡음 제거 → 실루엣 지수 향상 가능.</li> </ul> <hr> <h2 id="7-데이터마이닝-프로젝트-팁">7. 데이터마이닝 프로젝트 팁</h2> <ul> <li>데이터 품질 확보: 결측치 처리, 이상치 탐지, 스케일링 필수.</li> <li>평가 지표: <ul> <li>빈발 패턴: 신뢰도, 향상도 외 Conviction, Kulczynski 등.</li> <li>군집/커뮤니티: 실루엣, Davies-Bouldin, 모듈러리티.</li> <li>차원 축소: 재구성 오차, 분류 성능 변화.</li> </ul> </li> <li>시각화: 히트맵, 상관 행렬, 네트워크 그래프, 2D 임베딩(예: PCA, t-SNE).</li> <li>실무에서 LSH는 후보 생성, 정확한 판단은 후속 정밀 비교로 조합한다.</li> <li>반복적 실험과 파라미터 튜닝을 통해 재현 가능한 파이프라인을 문서화한다.</li> </ul>