https://ansangah.github.io/tags/machinelearning/MachineLearningHugo Blox Builder (https://hugoblox.com)koMon, 20 Oct 2025 00:00:00 +0000https://ansangah.github.io/media/sharing.pnghttps://ansangah.github.io/tags/machinelearning/https://ansangah.github.io/blog/subjects/ml/Mon, 20 Oct 2025 00:00:00 +0000https://ansangah.github.io/blog/subjects/ml/<h2 id="1-기계학습-개요">1. 기계학습 개요</h2> <ul> <li>기계학습(Machine Learning)은 <strong>데이터에서 패턴을 학습해 예측이나 의사결정을 자동화</strong>하는 기술.</li> <li>학습 유형: 지도학습(분류·회귀), 비지도학습(군집·차원축소), 강화학습.</li> <li>주요 과제: 일반화(generalization), 데이터 품질, 계산 효율, 설명 가능성.</li> </ul> <hr> <h2 id="2-귀납적-기계학습의-형식적-정의">2. 귀납적 기계학습의 형식적 정의</h2> <h3 id="21-학습-문제-서술">2.1 학습 문제 서술</h3> <ul> <li>입력 공간 $\mathcal{X}$, 출력 공간 $\mathcal{Y}$, 미지의 분포 $\mathcal{D}$가 존재한다고 가정.</li> <li>훈련 데이터 $S = {(x_i, y_i)}_{i=1}^{n}$ 는 $\mathcal{D}$로부터 독립 동일 분포(i.i.d.) 샘플링된다.</li> <li>학습기의 목표는 가설 공간 $\mathcal{H}$에서 함수를 선택해 <strong>위험(Risk)</strong> 을 최소화: $$R(h) = \mathbb{E}_{(x,y)\sim\mathcal{D}}[\ell(h(x), y)]$$ 하지만 $\mathcal{D}$를 모르는 탓에 <strong>경험 위험(Empirical Risk)</strong> $$\hat{R}<em>S(h) = \frac{1}{n}\sum</em>{i=1}^{n} \ell(h(x_i), y_i)$$ 을 최소화하거나 정규화된 변형(RERM)을 사용한다.</li> </ul> <h3 id="22-귀납적-추론">2.2 귀납적 추론</h3> <ul> <li><strong>No Free Lunch 정리</strong>에 따라 임의의 분포를 가정하면 어떤 학습 알고리즘도 항상 우수할 수 없다.</li> <li>따라서 도메인 지식을 반영한 <strong>편향(bias)</strong> 을 설계하고, 데이터를 통해 <strong>가중치(weight)</strong> 를 조정한다.</li> </ul> <hr> <h2 id="3-학습의-한계와-일반화">3. 학습의 한계와 일반화</h2> <ul> <li><strong>VC 차원</strong>: 가설 공간의 표현력을 측정하며, 일반화 오차에 상한을 제공.</li> <li><strong>Bias-Variance Trade-off</strong>: 모델 복잡도가 높을수록 분산이 증가, 간단할수록 편향이 커진다.</li> <li><strong>과적합(Overfitting)</strong>: 훈련 오차는 작지만 보지 못한 데이터에서 성능 하락. 해결: 정규화, 조기 종료, 교차 검증.</li> <li><strong>PAC 학습</strong>: 일정한 확률(Probably)로 원하는 정확도(Approximately Correct)에 도달하는 학습 가능성 정의.</li> </ul> <hr> <h2 id="4-기하학적-관점과-최근접-이웃">4. 기하학적 관점과 최근접 이웃</h2> <h3 id="41-거리-기반-학습">4.1 거리 기반 학습</h3> <ul> <li>데이터 포인트를 고차원 공간의 벡터로 보고, <strong>거리(metric)</strong> 로 유사성을 측정.</li> <li>$k$-최근접 이웃(k-NN) 분류: 예측 시 가장 가까운 k개의 레이블을 다수결로 결정.</li> <li>$k$-NN 회귀: 인접 샘플의 평균 또는 가중 평균으로 예측.</li> </ul> <h3 id="42-특성">4.2 특성</h3> <ul> <li>훈련 시간이 거의 없고(저장만), 예측 시 계산량이 많다.</li> <li>거리 척도 선택이 중요: 유클리드, 맨해튼, 코사인 등.</li> <li>차원의 저주: 차원이 커질수록 모든 점 사이 거리가 비슷해져 분류력이 약해진다 → 차원 축소, 가중 거리 필요.</li> </ul> <h3 id="43-커널과-매니폴드">4.3 커널과 매니폴드</h3> <ul> <li>국소 구조를 반영하기 위해 <strong>커널 함수</strong>로 비선형 거리를 정의할 수 있다.</li> <li>매니폴드 가정: 고차원 데이터가 실제로는 저차원 곡면 위에 놓여 있다고 보고 근접도 계산.</li> </ul> <hr> <h2 id="5-결정-트리-학습decision-tree">5. 결정 트리 학습(Decision Tree)</h2> <h3 id="51-기본-구조">5.1 기본 구조</h3> <ul> <li>질문(속성 분할)을 연속적으로 수행해 리프 노드에서 예측.</li> <li>분할 기준: 정보 이득(Information Gain), 지니 지수(Gini Index), 카이제곱 등.</li> </ul> <h3 id="52-학습-절차-id3c45cart">5.2 학습 절차 (ID3/C4.5/CART)</h3> <ol> <li>최적 속성을 선택해 데이터 분할.</li> <li>하위 노드에 대해 재귀적으로 반복.</li> <li>리프 노드가 순수(Pure)하거나 최소 데이터 수 이하가 되면 중지.</li> </ol> <ul> <li><strong>연속형 속성</strong>은 임계값을 이용한 이진 분할로 처리.</li> </ul> <h3 id="53-가지치기pruning">5.3 가지치기(Pruning)</h3> <ul> <li>사전 가지치기: 깊이 제한, 최소 샘플 수 제한 등.</li> <li>사후 가지치기: 완전 트리 학습 후 검증 오차가 커지는 분기를 제거(예: Reduced Error Pruning).</li> </ul> <h3 id="54-장점단점">5.4 장점·단점</h3> <ul> <li>해석 용이, 특성 스케일링 불필요, 비선형 관계에 강함.</li> <li>데이터 분할에 민감하고, 과적합 위험 높음 → 앙상블(Random Forest, Gradient Boosting)로 개선.</li> </ul> <hr> <h2 id="6-퍼셉트론perceptron">6. 퍼셉트론(Perceptron)</h2> <h3 id="61-선형-분리-모델">6.1 선형 분리 모델</h3> <ul> <li>입력 $x$에 대해 가중치 $w$와 편향 $b$를 학습하여 $\text{sign}(w^\top x + b)$ 로 이진 분류.</li> <li>퍼셉트론 규칙: 오분류된 샘플에 대해 $w \leftarrow w + \eta yx$, $b \leftarrow b + \eta y$.</li> <li><strong>퍼셉트론 수렴 정리</strong>: 데이터가 선형적으로 분리 가능하면 유한 번의 업데이트 후 수렴.</li> </ul> <h3 id="62-한계">6.2 한계</h3> <ul> <li>XOR 같은 비선형 문제를 해결할 수 없음 → 커널 퍼셉트론, 다층 퍼셉트론(신경망)으로 확장.</li> <li>학습률 $\eta$ 선택, 데이터 순서에 따른 민감성 존재.</li> </ul> <hr> <h2 id="7-실무에서-마주치는-이슈">7. 실무에서 마주치는 이슈</h2> <ul> <li><strong>데이터 전처리</strong>: 결측치 처리, 이상치 탐지, 정규화/표준화, 범주형 인코딩.</li> <li><strong>평가 전략</strong>: 훈련/검증/테스트 분할, K-겹 교차 검증, 시간 순서 고려(시계열의 경우).</li> <li><strong>정규화와 규제</strong>: L1은 희소성 유도, L2는 가중치 분산 감소. 드롭아웃, 배치 정규화 등 신경망 규제.</li> <li><strong>하이퍼파라미터 탐색</strong>: Grid, Random, Bayesian Optimization.</li> <li><strong>모델 해석</strong>: SHAP, LIME, Feature Importance.</li> </ul> <hr> <h2 id="8-이진-분류를-넘어">8. 이진 분류를 넘어</h2> <ul> <li><strong>다중 분류</strong>: One-vs-Rest, One-vs-One, 소프트맥스 회귀(다항 로지스틱).</li> <li><strong>다중 라벨 분류</strong>: 한 샘플에 여러 라벨 가능 → 베이즈 체인, 시그모이드 출력.</li> <li><strong>회귀 문제</strong>: 연속값 예측 → 선형 회귀, 회귀 트리, Gaussian Process.</li> <li><strong>불균형 데이터</strong>: 가중치 조정, SMOTE, 이익 기반 손실 함수.</li> <li><strong>구조적 출력</strong>: 순차 라벨링(HMM, CRF), 이미지 분할(U-Net 등).</li> </ul> <hr> <h2 id="9-선형-모델linear-models">9. 선형 모델(Linear Models)</h2> <h3 id="91-선형-회귀linear-regression">9.1 선형 회귀(Linear Regression)</h3> <ul> <li>목적: $y \approx w^\top x + b$. 최소제곱(Ordinary Least Squares)으로 해석 가능.</li> <li>정규화: Ridge(L2), Lasso(L1), Elastic Net.</li> </ul> <h3 id="92-로지스틱-회귀logistic-regression">9.2 로지스틱 회귀(Logistic Regression)</h3> <ul> <li>이진 분류에서 <strong>시그모이드</strong>로 확률 추정: $$P(y=1|x) = \sigma(w^\top x + b) = \frac{1}{1 + e^{-(w^\top x + b)}}$$</li> <li>로그 우도 최대화 또는 교차 엔트로피 손실 최소화로 학습.</li> <li>결정경계가 선형이라는 한계 → 커널 기법, 다항 특성 확장으로 비선형 모델링.</li> </ul> <h3 id="93-소프트맥스-회귀다항-로지스틱">9.3 소프트맥스 회귀(다항 로지스틱)</h3> <ul> <li>$K$개 클래스에 대해 $\mathrm{softmax}(z)_k = \frac{e^{z_k}}{\sum_j e^{z_j}}$.</li> <li>교차 엔트로피 손실로 학습하며, 확률적 경사 하강법(SGD)과 잘 결합.</li> </ul> <h3 id="94-선형-모델의-장단점">9.4 선형 모델의 장단점</h3> <ul> <li>장점: 설명 가능, 학습 속도 빠름, 고차원 희소 데이터에 강함.</li> <li>단점: 복잡한 비선형 관계 표현 한계. 커널 방법(Kernel Trick), 다층 신경망으로 확장 가능.</li> </ul> <hr> <h2 id="10-참고-학습-플로우">10. 참고 학습 플로우</h2> <ol> <li>문제 정의 및 데이터 이해 (도메인 지식 정리).</li> <li>데이터 정제·탐색적 분석 → 특징 공학.</li> <li>기본 모델 구축(선형, 결정트리, k-NN 등)으로 벤치마크.</li> <li>검증 전략 설정 후 하이퍼파라미터 탐색.</li> <li>성능/설명력/운용비용을 평가해 최종 모델 선정.</li> <li>배포 후 모니터링, 데이터 드리프트 대응, 주기적 재학습.</li> </ol>https://ansangah.github.io/blog/subjects/dm/Tue, 16 Apr 2024 00:00:00 +0000https://ansangah.github.io/blog/subjects/dm/<h2 id="1-데이터마이닝-개요">1. 데이터마이닝 개요</h2> <ul> <li>대규모 데이터에서 <strong>유의미한 패턴과 지식을 추출</strong>하는 과정.</li> <li>주된 단계: 데이터 정제 → 특징 추출 → 모델링/패턴 탐색 → 평가 및 시각화.</li> <li>특징: 대량(Volume), 다양성(Variety), 빠른 속도(Velocity), 정확성(Veracity)을 고려한 알고리즘 설계가 필요.</li> </ul> <hr> <h2 id="2-빈발-아이템셋-탐색frequent-itemset-mining">2. 빈발 아이템셋 탐색(Frequent Itemset Mining)</h2> <h3 id="21-개념">2.1 개념</h3> <ul> <li>거래 데이터(쇼핑 내역 등)에서 함께 등장하는 아이템 묶음을 찾는 문제.</li> <li><strong>지지도(Support)</strong>: 전체 거래 중 해당 아이템셋이 등장한 비율.<br> $$\mathrm{support}(X) = \frac{\text{X를 포함한 거래 수}}{\text{전체 거래 수}}$$</li> <li><strong>신뢰도(Confidence)</strong>: 규칙 $X \rightarrow Y$의 신뢰도는 X가 포함된 거래 중 Y도 함께 등장할 확률.</li> <li><strong>향상도(Lift)</strong>: $ \frac{P(X,Y)}{P(X)P(Y)} $로 독립성 대비 얼마나 더 자주 같이 등장하는지 측정.</li> </ul> <h3 id="22-apriori-알고리즘">2.2 Apriori 알고리즘</h3> <ul> <li><strong>하향식(Top-down)</strong> 탐색: 크기가 작은 빈발 아이템셋에서 시작하여 확장.</li> <li>원리: <strong>단조성(Apriori Principle)</strong> — 어떤 아이템셋이 빈발하지 않다면 그 초집합도 빈발하지 않음.</li> <li>단계: <ol> <li>크기 1 아이템셋 후보 생성 및 지지도 계산.</li> <li>최소 지지도보다 큰 아이템셋만 남김.</li> <li>남은 아이템셋을 조합해 $k+1$ 크기 후보를 생성.</li> <li>반복하여 전체 빈발 아이템셋 도출.</li> </ol> </li> <li>단점: 후보 생성/지지도 계산 시 많은 스캔이 필요.</li> </ul> <h3 id="23-fp-growth-frequent-pattern-growth">2.3 FP-Growth (Frequent Pattern Growth)</h3> <ul> <li>후보 생성 없이 <strong>FP-트리</strong> 구조를 이용해 패턴을 압축 저장.</li> <li>과정: <ol> <li>전체 거래를 스캔해 지지도 순으로 아이템 정렬.</li> <li>동일 순서로 트리에 삽입하여 경로 공유.</li> <li>각 아이템에 대한 조건부 트리를 구성해 재귀적으로 패턴 생성.</li> </ol> </li> <li>Apriori보다 I/O 비용이 적고 빅데이터에 효율적.</li> </ul> <h3 id="24-연관-규칙-생성">2.4 연관 규칙 생성</h3> <ul> <li>빈발 아이템셋에서 모든 가능한 분할을 생성하여 규칙 후보 생성.</li> <li>지지도·신뢰도·향상도 등 임계값을 적용해 의미 있는 규칙 선택.</li> <li>응용: 추천 시스템, 장바구니 분석, 침입 탐지.</li> </ul> <hr> <h2 id="3-유사-항목-탐색-locality-sensitive-hashinglsh">3. 유사 항목 탐색: Locality Sensitive Hashing(LSH)</h2> <h3 id="31-문제-정의">3.1 문제 정의</h3> <ul> <li>대규모 데이터셋에서 <strong>유사한 아이템을 빠르게 찾기</strong> 위한 방법.</li> <li>예: 문서 중복 탐지, 이미지 검색, 레코드 중복 제거.</li> </ul> <h3 id="32-기본-아이디어">3.2 기본 아이디어</h3> <ul> <li>해시 함수가 <strong>유사한 객체를 동일 버킷에 높은 확률로 매핑</strong>하도록 설계.</li> <li>유사도 지표에 따라 해시 패밀리를 선택: <ul> <li>Jaccard 유사도 → MinHash.</li> <li>코사인 유사도 → Random Hyperplane.</li> <li>Lp 거리 → p-안정 분포 해시.</li> </ul> </li> </ul> <h3 id="33-minhash--밴드-기법">3.3 MinHash + 밴드 기법</h3> <ul> <li>문서를 <strong>셋</strong>으로 표현하고 MinHash 시그니처(여러 해시 함수의 최소값)를 생성.</li> <li>시그니처를 r×b 밴드로 나눠 각 밴드마다 동일한 구간을 문자열로 취급해 해시 버킷에 저장.</li> <li>두 문서가 하나라도 같은 밴드-버킷에 들어가면 <strong>후보(pair)</strong> 로 간주하고 실제 유사도를 계산.</li> <li>파라미터 (r,b) 조절로 유사도 임계값을 설정. <ul> <li>더 많은 밴드(b)는 거짓 음성 감소, 더 많은 행(r)은 거짓 양성 감소.</li> </ul> </li> </ul> <h3 id="34-lsh-파이프라인">3.4 LSH 파이프라인</h3> <ol> <li>데이터 전처리 및 특징화(셋/벡터).</li> <li>LSH 시그니처 생성.</li> <li>후보군 추출.</li> <li>정확한 거리 계산 후 상위 K개 또는 임계값 이상 반환.</li> </ol> <hr> <h2 id="4-군집화clustering">4. 군집화(Clustering)</h2> <h3 id="41-개요">4.1 개요</h3> <ul> <li>레이블이 없는 데이터에서 <strong>자연스러운 그룹</strong>을 발견.</li> <li>목적: 군집 내 유사성 극대화, 군집 간 유사성 최소화.</li> <li>거리 척도: 유클리디언, 코사인, 해밍, DTW 등.</li> </ul> <h3 id="42-k-means">4.2 K-means</h3> <ul> <li>구형(球形) 군집에 적합한 대표 알고리즘.</li> <li>절차: <ol> <li>초기 중심 K개 선택 (K-means++, 랜덤).</li> <li>각 데이터 포인트를 가장 가까운 중심에 할당.</li> <li>중심 갱신(할당된 포인트 평균).</li> <li>수렴할 때까지 반복.</li> </ol> </li> <li>주의: K 값 선택(엘보우, 실루엣), 이상치 영향, 초기값 민감성.</li> </ul> <h3 id="43-계층적-군집화">4.3 계층적 군집화</h3> <ul> <li>데이터 사이 거리를 기반으로 <strong>덴드로그램</strong> 생성.</li> <li>상향식(Agglomerative): 각 포인트를 독립 군집으로 시작해 병합. <ul> <li>연결 기준: 단일(Single), 완전(Complete), 평균(Average), Ward.</li> </ul> </li> <li>하향식(Divisive): 전체를 하나의 군집으로 보고 분할.</li> <li>원하는 군집 수만큼 수평선으로 잘라 결과 도출.</li> </ul> <h3 id="44-밀도-기반-군집화-dbscan-hdbscan">4.4 밀도 기반 군집화 (DBSCAN, HDBSCAN)</h3> <ul> <li>밀도가 높은 영역을 군집으로 정의하고 희소 영역은 노이즈로 처리.</li> <li>파라미터: $\varepsilon$ (반경), MinPts(최소 포인트 수).</li> <li>장점: 임의 모양 군집 탐색, 이상치 자동 탐지.</li> </ul> <hr> <h2 id="5-그래프-기반-커뮤니티-탐지">5. 그래프 기반 커뮤니티 탐지</h2> <h3 id="51-community-detection">5.1 Community Detection</h3> <ul> <li>그래프의 노드를 <strong>내부적으로 연결이 밀집된 하위 구조</strong>로 분할.</li> <li>응용: 소셜 네트워크, 추천, 생물학 네트워크 분석.</li> </ul> <h3 id="52-모듈러리티modularity">5.2 모듈러리티(Modularity)</h3> <ul> <li>군집 내 연결 강도와 군집 간 연결 강도의 차이를 지표로 사용.</li> <li>Louvain, Leiden 알고리즘이 대표적: 모듈러리티 최대화를 반복 수행.</li> </ul> <h3 id="53-스펙트럴-클러스터링spectral-clustering">5.3 스펙트럴 클러스터링(Spectral Clustering)</h3> <ul> <li>그래프 라플라시안(Laplacian) 행렬의 고유벡터를 이용해 군집화.</li> <li>과정: <ol> <li>인접 행렬 $W$로 그래프 표현, 정도 행렬 $D$ 계산.</li> <li><strong>정규화 라플라시안</strong> $L = D^{-1/2}(D - W)D^{-1/2}$을 구성.</li> <li>$L$의 하위 k개의 고유벡터를 취해 새로운 특징 공간으로 임베딩.</li> <li>해당 공간에서 K-means 등 전통적 군집 알고리즘 수행.</li> </ol> </li> <li>장점: 비선형 구조, 비구형 군집에도 적용 가능.</li> </ul> <h3 id="54-비교">5.4 비교</h3> <ul> <li>모듈러리티 기반: 빠르지만 해상도 한계 존재.</li> <li>스펙트럴: 고유값 분해 비용이 있지만 품질 높은 분할 제공.</li> <li>실제 프로젝트에서는 그래프 크기, 희소성, 실시간 요구를 고려해 선택.</li> </ul> <hr> <h2 id="6-차원-축소dimension-reduction">6. 차원 축소(Dimension Reduction)</h2> <h3 id="61-필요성">6.1 필요성</h3> <ul> <li>고차원 데이터는 계산 비용 증가, 시각화 어려움, 차원의 저주 발생.</li> <li>차원 축소는 <strong>정보 손실을 최소화하면서 표현 차원 수를 줄이는 과정</strong>.</li> </ul> <h3 id="62-주성분-분석pca">6.2 주성분 분석(PCA)</h3> <ul> <li>공분산 행렬의 고유값 분해로 분산이 가장 큰 방향(주성분)을 찾는다.</li> <li>절차: 표준화 → 공분산 행렬 계산 → 고유값/고유벡터 → 상위 k개 선택 → 투영.</li> <li>주요 성질: 직교 변환, 선형 기법, 최대 정보 보존.</li> <li>한계: 비선형 패턴, 이상치에 민감.</li> </ul> <h3 id="63-선형-판별-분석lda">6.3 선형 판별 분석(LDA)</h3> <ul> <li>클래스 간 분산 대비 클래스 내 분산 비율을 최대화.</li> <li>지도학습 기반 차원 축소, 분류 성능 향상이 목표.</li> </ul> <h3 id="64-비선형-차원-축소">6.4 비선형 차원 축소</h3> <ul> <li>t-SNE: 국소 구조 유지, 시각화에 탁월하지만 전역 구조 왜곡 가능.</li> <li>UMAP: t-SNE보다 빠르고 전역 구조를 더 잘 유지.</li> <li>Autoencoder: 심층 신경망으로 비선형 임베딩 학습.</li> </ul> <h3 id="65-차원-축소와-lsh군집화-연계">6.5 차원 축소와 LSH/군집화 연계</h3> <ul> <li>고차원 벡터를 축소하여 LSH 효율 개선 및 노이즈 완화.</li> <li>군집화 전에 PCA로 잡음 제거 → 실루엣 지수 향상 가능.</li> </ul> <hr> <h2 id="7-데이터마이닝-프로젝트-팁">7. 데이터마이닝 프로젝트 팁</h2> <ul> <li>데이터 품질 확보: 결측치 처리, 이상치 탐지, 스케일링 필수.</li> <li>평가 지표: <ul> <li>빈발 패턴: 신뢰도, 향상도 외 Conviction, Kulczynski 등.</li> <li>군집/커뮤니티: 실루엣, Davies-Bouldin, 모듈러리티.</li> <li>차원 축소: 재구성 오차, 분류 성능 변화.</li> </ul> </li> <li>시각화: 히트맵, 상관 행렬, 네트워크 그래프, 2D 임베딩(예: PCA, t-SNE).</li> <li>실무에서 LSH는 후보 생성, 정확한 판단은 후속 정밀 비교로 조합한다.</li> <li>반복적 실험과 파라미터 튜닝을 통해 재현 가능한 파이프라인을 문서화한다.</li> </ul>