[딥러닝 자연어처리] 7. 머신 러닝 개요 1) ~ 3)

딥러닝을 이용한 자연어처리 입문 # 7. 머신 러닝 개요 1) ~ 3)

1) 머신러닝이란

• 해결을 위한 접근 방식이 기존의 프로그래밍 방식과는 다름
• 머신 러닝은 데이터가 주어지면, 기계가 스스로 데이터로부터 규칙성을 찾는 것에 집중함
• 주어진 데이터로부터 규칙성을 찾는 과정을 훈련(training)또는 학습(learning)이라고 함

2) 머신 러닝 훑어보기

1. 머신 러닝 모델의 평가

• 학습하기 전에 데이터를 훈련용, 검증용, 테스트용 이렇게 세 가지로 분리함
• 훈련데이터: 머신 러닝 모델을 학습하는 용도
• 테스트데이터: 학습한 머신 러닝 모델의 성능을 평가하기 위한 용도
• 검증용데이터: 모델의 성능을 조정하기 위한 용도 → 모델이 훈련 데이터에 과적합이 되고 있는지 판단하거나 하이퍼파라미터의 조정을 위한 용도
• 하이퍼파라미터: 모델의 성능에 영향을 주는 사람이 값을 지정하는 변수
  • 경사 하강법에서의 학습률, 딥 러닝에서 뉴런의 수나 층의 수
• 매개변수: 가중치와 편향. 학습을 하는 동안 값이 계속해서 변하는 수

→ 훈련용 데이터로 훈련을 모두 시킨 모델은 검증용 데이터를 사용하여 정확도를 검증하며 하이퍼파라미터를 튜닝함

→ 튜닝 과정을 모두 끝내고 모델을 최종 평가하기 위해 테스트 데이터를 사용함

 

2. 분류(Classification)와 회귀(Regression)

• 이진 분류 문제
  • 주어진 입력에 대해서 두 개의 선택지 중 하나의 답을 선택해야 하는 경우
• 다중 클래스 분류
  • 주어진 입력에 대해서 세 개 이상의 선택지 중에서 답을 선택해야 하는 경우
• 회귀 문제
  • 정답이 몇 개의 정해진 선택지 중에서 정해져 있는 경우가 아니라 어떠한 연속적인 값의 범위 내에서 예측값이 나오는 경우

3. 지도 학습과 비지도 학습

• 지도 학습
  • 레이블(Label)이라는 정답과 함께 학습하는 것
• 비지도 학습
  • 데이터에 별도의 레이블 없이 학습하는 것
• 자기지도 학습ex. Word2Vec과 같은 워드 임베딩 알고리즘, BERT와 같은 언어 모델의 학습 방법
• 레이블이 없는 데이터가 주어지면, 모델이 학습을 위해서 스스로 데이터로부터 레이블을 만들어서 학습하는 경우

4. 샘플(Sample)과 특성(Feature)

5. 혼동 행렬(Confusion Matrix)

• 정밀도 (Precision)
  • 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율

• 재현율 (Recall)
  • 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율

• 정확도 (Accuracy)
• 전체 예측한 데이터 중에서 정답을 맞춘 것에 대한 비율

→ 실질적으로 더 중요한 경우에 대한 데이터가 전체 데이터에서 너무 적은 비율을 차지한다면 정확도는 좋은 측정 지표가 될 수 없음. 이러한 경우에는 F1-Score를 사용함

 

6. 과적합(Overfitting)과 과소적합(Underfitting)

• 과적합
  • 기계가 훈련 데이터에 대하서만 과하게 학습하여 테스트 데이터에서는 성능이 좋지 않은 현상

 

• 과소적합
  • 훈련을 너무 적게 해서 훈련 데이터에 대해서도 정확도(or 성능)가 낮은 현상

3) 선형 회귀(Linear Regression)

1. 선형 회귀

• 단순 선형 회귀 분석

• 다중 선형 회귀 분석

2. 가설(Hypothesis) 세우기

 

3. 비용 함수(Cost function): 평균제곱오차(MSE)

머신러닝에서는 실제값과 예측값의 오차를 계산하여 이를 최소화하는 최적의 w와 b를 찾아냄

목적함수, 비용함수, 손실함수

4. 옵티마이저(Optimizer): 경사하강법(Gradient Descent)