https://ansangah.github.io/tags/patternrecognition/PatternRecognitionHugo Blox Builder (https://hugoblox.com)koMon, 20 Oct 2025 00:00:00 +0000https://ansangah.github.io/media/sharing.pnghttps://ansangah.github.io/tags/patternrecognition/https://ansangah.github.io/blog/subjects/ml/Mon, 20 Oct 2025 00:00:00 +0000https://ansangah.github.io/blog/subjects/ml/<h2 id="1-기계학습-개요">1. 기계학습 개요</h2> <ul> <li>기계학습(Machine Learning)은 <strong>데이터에서 패턴을 학습해 예측이나 의사결정을 자동화</strong>하는 기술.</li> <li>학습 유형: 지도학습(분류·회귀), 비지도학습(군집·차원축소), 강화학습.</li> <li>주요 과제: 일반화(generalization), 데이터 품질, 계산 효율, 설명 가능성.</li> </ul> <hr> <h2 id="2-귀납적-기계학습의-형식적-정의">2. 귀납적 기계학습의 형식적 정의</h2> <h3 id="21-학습-문제-서술">2.1 학습 문제 서술</h3> <ul> <li>입력 공간 $\mathcal{X}$, 출력 공간 $\mathcal{Y}$, 미지의 분포 $\mathcal{D}$가 존재한다고 가정.</li> <li>훈련 데이터 $S = {(x_i, y_i)}_{i=1}^{n}$ 는 $\mathcal{D}$로부터 독립 동일 분포(i.i.d.) 샘플링된다.</li> <li>학습기의 목표는 가설 공간 $\mathcal{H}$에서 함수를 선택해 <strong>위험(Risk)</strong> 을 최소화: $$R(h) = \mathbb{E}_{(x,y)\sim\mathcal{D}}[\ell(h(x), y)]$$ 하지만 $\mathcal{D}$를 모르는 탓에 <strong>경험 위험(Empirical Risk)</strong> $$\hat{R}<em>S(h) = \frac{1}{n}\sum</em>{i=1}^{n} \ell(h(x_i), y_i)$$ 을 최소화하거나 정규화된 변형(RERM)을 사용한다.</li> </ul> <h3 id="22-귀납적-추론">2.2 귀납적 추론</h3> <ul> <li><strong>No Free Lunch 정리</strong>에 따라 임의의 분포를 가정하면 어떤 학습 알고리즘도 항상 우수할 수 없다.</li> <li>따라서 도메인 지식을 반영한 <strong>편향(bias)</strong> 을 설계하고, 데이터를 통해 <strong>가중치(weight)</strong> 를 조정한다.</li> </ul> <hr> <h2 id="3-학습의-한계와-일반화">3. 학습의 한계와 일반화</h2> <ul> <li><strong>VC 차원</strong>: 가설 공간의 표현력을 측정하며, 일반화 오차에 상한을 제공.</li> <li><strong>Bias-Variance Trade-off</strong>: 모델 복잡도가 높을수록 분산이 증가, 간단할수록 편향이 커진다.</li> <li><strong>과적합(Overfitting)</strong>: 훈련 오차는 작지만 보지 못한 데이터에서 성능 하락. 해결: 정규화, 조기 종료, 교차 검증.</li> <li><strong>PAC 학습</strong>: 일정한 확률(Probably)로 원하는 정확도(Approximately Correct)에 도달하는 학습 가능성 정의.</li> </ul> <hr> <h2 id="4-기하학적-관점과-최근접-이웃">4. 기하학적 관점과 최근접 이웃</h2> <h3 id="41-거리-기반-학습">4.1 거리 기반 학습</h3> <ul> <li>데이터 포인트를 고차원 공간의 벡터로 보고, <strong>거리(metric)</strong> 로 유사성을 측정.</li> <li>$k$-최근접 이웃(k-NN) 분류: 예측 시 가장 가까운 k개의 레이블을 다수결로 결정.</li> <li>$k$-NN 회귀: 인접 샘플의 평균 또는 가중 평균으로 예측.</li> </ul> <h3 id="42-특성">4.2 특성</h3> <ul> <li>훈련 시간이 거의 없고(저장만), 예측 시 계산량이 많다.</li> <li>거리 척도 선택이 중요: 유클리드, 맨해튼, 코사인 등.</li> <li>차원의 저주: 차원이 커질수록 모든 점 사이 거리가 비슷해져 분류력이 약해진다 → 차원 축소, 가중 거리 필요.</li> </ul> <h3 id="43-커널과-매니폴드">4.3 커널과 매니폴드</h3> <ul> <li>국소 구조를 반영하기 위해 <strong>커널 함수</strong>로 비선형 거리를 정의할 수 있다.</li> <li>매니폴드 가정: 고차원 데이터가 실제로는 저차원 곡면 위에 놓여 있다고 보고 근접도 계산.</li> </ul> <hr> <h2 id="5-결정-트리-학습decision-tree">5. 결정 트리 학습(Decision Tree)</h2> <h3 id="51-기본-구조">5.1 기본 구조</h3> <ul> <li>질문(속성 분할)을 연속적으로 수행해 리프 노드에서 예측.</li> <li>분할 기준: 정보 이득(Information Gain), 지니 지수(Gini Index), 카이제곱 등.</li> </ul> <h3 id="52-학습-절차-id3c45cart">5.2 학습 절차 (ID3/C4.5/CART)</h3> <ol> <li>최적 속성을 선택해 데이터 분할.</li> <li>하위 노드에 대해 재귀적으로 반복.</li> <li>리프 노드가 순수(Pure)하거나 최소 데이터 수 이하가 되면 중지.</li> </ol> <ul> <li><strong>연속형 속성</strong>은 임계값을 이용한 이진 분할로 처리.</li> </ul> <h3 id="53-가지치기pruning">5.3 가지치기(Pruning)</h3> <ul> <li>사전 가지치기: 깊이 제한, 최소 샘플 수 제한 등.</li> <li>사후 가지치기: 완전 트리 학습 후 검증 오차가 커지는 분기를 제거(예: Reduced Error Pruning).</li> </ul> <h3 id="54-장점단점">5.4 장점·단점</h3> <ul> <li>해석 용이, 특성 스케일링 불필요, 비선형 관계에 강함.</li> <li>데이터 분할에 민감하고, 과적합 위험 높음 → 앙상블(Random Forest, Gradient Boosting)로 개선.</li> </ul> <hr> <h2 id="6-퍼셉트론perceptron">6. 퍼셉트론(Perceptron)</h2> <h3 id="61-선형-분리-모델">6.1 선형 분리 모델</h3> <ul> <li>입력 $x$에 대해 가중치 $w$와 편향 $b$를 학습하여 $\text{sign}(w^\top x + b)$ 로 이진 분류.</li> <li>퍼셉트론 규칙: 오분류된 샘플에 대해 $w \leftarrow w + \eta yx$, $b \leftarrow b + \eta y$.</li> <li><strong>퍼셉트론 수렴 정리</strong>: 데이터가 선형적으로 분리 가능하면 유한 번의 업데이트 후 수렴.</li> </ul> <h3 id="62-한계">6.2 한계</h3> <ul> <li>XOR 같은 비선형 문제를 해결할 수 없음 → 커널 퍼셉트론, 다층 퍼셉트론(신경망)으로 확장.</li> <li>학습률 $\eta$ 선택, 데이터 순서에 따른 민감성 존재.</li> </ul> <hr> <h2 id="7-실무에서-마주치는-이슈">7. 실무에서 마주치는 이슈</h2> <ul> <li><strong>데이터 전처리</strong>: 결측치 처리, 이상치 탐지, 정규화/표준화, 범주형 인코딩.</li> <li><strong>평가 전략</strong>: 훈련/검증/테스트 분할, K-겹 교차 검증, 시간 순서 고려(시계열의 경우).</li> <li><strong>정규화와 규제</strong>: L1은 희소성 유도, L2는 가중치 분산 감소. 드롭아웃, 배치 정규화 등 신경망 규제.</li> <li><strong>하이퍼파라미터 탐색</strong>: Grid, Random, Bayesian Optimization.</li> <li><strong>모델 해석</strong>: SHAP, LIME, Feature Importance.</li> </ul> <hr> <h2 id="8-이진-분류를-넘어">8. 이진 분류를 넘어</h2> <ul> <li><strong>다중 분류</strong>: One-vs-Rest, One-vs-One, 소프트맥스 회귀(다항 로지스틱).</li> <li><strong>다중 라벨 분류</strong>: 한 샘플에 여러 라벨 가능 → 베이즈 체인, 시그모이드 출력.</li> <li><strong>회귀 문제</strong>: 연속값 예측 → 선형 회귀, 회귀 트리, Gaussian Process.</li> <li><strong>불균형 데이터</strong>: 가중치 조정, SMOTE, 이익 기반 손실 함수.</li> <li><strong>구조적 출력</strong>: 순차 라벨링(HMM, CRF), 이미지 분할(U-Net 등).</li> </ul> <hr> <h2 id="9-선형-모델linear-models">9. 선형 모델(Linear Models)</h2> <h3 id="91-선형-회귀linear-regression">9.1 선형 회귀(Linear Regression)</h3> <ul> <li>목적: $y \approx w^\top x + b$. 최소제곱(Ordinary Least Squares)으로 해석 가능.</li> <li>정규화: Ridge(L2), Lasso(L1), Elastic Net.</li> </ul> <h3 id="92-로지스틱-회귀logistic-regression">9.2 로지스틱 회귀(Logistic Regression)</h3> <ul> <li>이진 분류에서 <strong>시그모이드</strong>로 확률 추정: $$P(y=1|x) = \sigma(w^\top x + b) = \frac{1}{1 + e^{-(w^\top x + b)}}$$</li> <li>로그 우도 최대화 또는 교차 엔트로피 손실 최소화로 학습.</li> <li>결정경계가 선형이라는 한계 → 커널 기법, 다항 특성 확장으로 비선형 모델링.</li> </ul> <h3 id="93-소프트맥스-회귀다항-로지스틱">9.3 소프트맥스 회귀(다항 로지스틱)</h3> <ul> <li>$K$개 클래스에 대해 $\mathrm{softmax}(z)_k = \frac{e^{z_k}}{\sum_j e^{z_j}}$.</li> <li>교차 엔트로피 손실로 학습하며, 확률적 경사 하강법(SGD)과 잘 결합.</li> </ul> <h3 id="94-선형-모델의-장단점">9.4 선형 모델의 장단점</h3> <ul> <li>장점: 설명 가능, 학습 속도 빠름, 고차원 희소 데이터에 강함.</li> <li>단점: 복잡한 비선형 관계 표현 한계. 커널 방법(Kernel Trick), 다층 신경망으로 확장 가능.</li> </ul> <hr> <h2 id="10-참고-학습-플로우">10. 참고 학습 플로우</h2> <ol> <li>문제 정의 및 데이터 이해 (도메인 지식 정리).</li> <li>데이터 정제·탐색적 분석 → 특징 공학.</li> <li>기본 모델 구축(선형, 결정트리, k-NN 등)으로 벤치마크.</li> <li>검증 전략 설정 후 하이퍼파라미터 탐색.</li> <li>성능/설명력/운용비용을 평가해 최종 모델 선정.</li> <li>배포 후 모니터링, 데이터 드리프트 대응, 주기적 재학습.</li> </ol>