공부하는 습관을 들이자/Machine Learning For Study12 Hands-on ML : 4. 2 확률적 경사하강법, 미니배치 경사 하강법 배치 경사 하강법 문제점 배치 경사 하강법의 문제는 매 스텝에서 전체 훈련 세트를 사용해 그레디언트를 계산한다는 것이다. 훈련 세트가 커지면 매우 느려지는 이유로 확률적 경사하강법을 사용한다. 확률적 경사하강법 매 스텝에서 한 개의 샘플을 무작위 선택하고 그에 대한 그레이디언트를 계산한다. 매 반복에서 적은 데이터를 처리하기에 속도가 매우 빠르며, 1개 샘플에 대한 메모리만 필요하므로 매우 큰 훈련 데이터 셋도 가능하다. 반면에 확률적이기에 배치 경사 하강법보다 불안정하다는 단점이 있다. 또한 매끄러운 하강이 아닌 요동치는 것을 볼 수 있는데, 요동치는 것은 지역 최솟값을 뛰어넘어서 전역 최솟값을 찾게 도와줄 수 있다. 학습률이 너무 천천히 줄어들면 오랫동안 최솟값 주변을 맴돌거나 지역 최솟값에 머무를 .. 2022. 5. 18. Hands-on ML : 4. 2 경사 하강법 경사 하강법 (gradient descent) 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘 아이디어 : 비용 함수를 최소화하기 위해 반복해서 파라미터 조정해가는 것. 제시된 함수의 기울기로 최소값을 찾아내는 머신러닝 알고리즘 1. 특정 파라미터 값으로 시작 : 가중치 W1에 대한 시작점을 선택한다. 2. 비용 함수 (Cost function) 계산 : 모델을 구성하는 가중치 W의 함수 3. 반복 학습 (iteration) : 과정을 n번 반복하며 최소값으로 수렴. (스텝의 크기가 중요) -> numeric analysis에서의 수치적 접근법과 같다. ( ex) Bisection algorithm etc..) 4.2.1 배치 경사 하강법 경사 하강법을 구현하기 위해 각 모델 파라미터에 대한 비용 .. 2022. 5. 17. Hands-on ML : 4. 선형 회귀 및 계산 복잡도 (시간복잡도, 공간복잡도) 4.1 선형 회귀 (Linear regression) 4.1.1 정규방정식 (normal equation) 통계에서 일반 최소 제곱은 선형 회귀 모델에서 알려지지 않은 매개변수를 추정하기 위한 선형 최소제곱 방법의 한 유형 이를 파이썬으로 나타내보자. X=2*np.random.rand(100,1) y=4+3*X+np.random.randn(100,1) 정규방정식으로 Theta 구하기. X_b=np.c_[np.ones((100,1)),X] theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) X_new=np.array([[0],[2]]) X_new_b=np.c_[np.ones((2,1)),X_new] y_predict=X_new_b.dot(theta_.. 2022. 5. 12. Hands-on ML : 2.1 실제 데이터로 작업&2.2 큰 그림 보기 2.2.1 문제 정의 비즈니스의 목적이 정확하게 무엇인가요? 목적은 문제 구성이나 알고리즘, 모델 평가에 사용되는 성능 지표, 모델 튜닝 등을 결정하기 때문에 중요하다. 파이프라인(pipeline) : 데이터 처리 컴포넌트들이 연속되어 있는 것이다. 보통 컴포넌트들은 비동기적으로 동작 각 컴포넌트는 많은 데이터를 추출해 처리하고 그 결과를 다른 데이터 저장소로 보낸다. 일정 시간 후 파이프라인의 다음 컴포넌트가 그 데이터를 추출해 자신의 출력 결과를 만든다. Data extracting: 데이터 추출 Data transforming: 데이터 변환 Data combining: 데이터 결합 Data validating: 데이터 검증 Data loading: 데이터 적재 ETL : Extractin, Tran.. 2022. 3. 24. Hands-on ML : 1.5 머신러닝의 주요 도전 과제 &1.6 테스트와 검증 1.5.1 충분하지 않은 양의 훈련 데이터 1.5.2 대표성 없는 훈련 데이터 샘플링 잡음 (sampling noise) : 샘플이 작을 경우. 즉, 우연에 의한 대표성 없는 데이터의 경우 생김. 샘플링 편향 (sampling bias) : 매우 큰 샘플도 표본 추출 방법이 잘못되면 대표성을 띠지 못함. 1.5.3 낮은 품질의 데이터 일부 샘플이 이상치라면 무시하거나 수동으로 고치는 것이 좋다. 일부 샘플에 특성 몇 개가 빠져있다면 이 특성을 모두 무시할지, 이 샘플을 무시할지, 빠진 값을 채울지 등 결정해야 한다. 1.5.4 관련 없는 특성 특성 선택(feature selection) : 가지고 있는 특성 중 훈련에 가장 유용한 특성을 선택 특성 추출(feature extraction) : 특성을 결합.. 2022. 3. 23. Hands-on ML : 1.4 머신러닝 시스템의 종류 1.4 머신러닝 시스템의 종류 1.4.1 지도 학습과 비지도 학습 지도 학습 (supervised learning) : 훈련 데이터에 레이블(label)이 포함된 학습 k-최근접 이웃(k-nearest neighbors) 선형 회귀(linear regression) 로지스틱 회귀(logistic regression) 서포트 벡터 머신(support vector machine) 결정 트리(decision tree) & 랜덤 포레스트(random forest) 신경망 (neural networks) 비지도 학습 (unsupervised learning) : 훈련 데이터에 레이블(label)이 비포함된 학습 군집(clustering) -k-평균(k-means) -DBSCAN -계층 군집 분석 (HCA) -이상.. 2022. 3. 23. 이전 1 2 다음
