대외활동/ABC 지역주도형 청년 취업역량강화 ESG 지원산업 (59) 썸네일형 리스트형 [ABC 220923] 지도 학습 알고리즘 - 선형 모델 정리 선형 모델 - 장단점과 매개변수 선형 모델의 주요 매개변수는 회귀 모델에서 alpha였고 LinearSVC와 LogisticRegression에서는 C alpha 값이 클수록, C 값이 작을수록 모델이 단순해짐(특별히 회귀 모델에서 이 매개변수를 조정하는 일이 매우 중요) 보통 C와 alpha는 로그 스케일로 최적치를 정함 L1 규제를 사용할지 L2 규제를 사용할 지를 정해야 함 중요한 특성이 많지 않다고 생각하면 L1 규제를 사용 그렇지 않으면 기본적으로 L2 규제를 사용 L1 규제는 모델의 해석이 중요한 요소일 때도 사용할 수 있음 L1 규제는 몇 가지 특성만 사용하므로 해당 모델에 중요한 특성이 무엇이고 효과가 어느 정도인지 설명하기 쉬움 선형 모델은 학습 속도가 빠르고 예측 회귀와 분류에서 본 공.. [ABC 220923] 지도 학습 알고리즘 - 서포트 벡터 머신 분류형 선형 모델 - 서포트 벡터 머신 (support vector machine, SVM) 데이터셋의 여러 속성을 나타내는 데이터프레임의 각 열은 열 벡터 형태로 구현 됨 열 벡터들이 각각 고유의 축을 갖는 벡터 공간을 만듬 → 분석 대상이 되는 개별 관측값은 모든 속성(열벡터)에 관한 값을 해당 축의 좌표로 표시하여 벡터 공간에서 위치를 나타냄 속성이 2개 존재하는 데이터 셋은 2차원 평면 공간 좌표, 속성 3개이면 3차원, 속성 4개이면 고차원 벡터 공간 SVM 모형은 벡터 공간에 위치한 훈련 데이터의 좌표와 각 데이터가 어떤 분류 값을 가져야 하는지 정답을 입력 받아 학습 → 같은 분류 값을 갖는 데이터끼리 같은 공간에 위치하도록 함 새로운 데이터에 대해서도 어느 공간에 위치하는지 분류 가능 SV.. [ABC 220923] 지도 학습 알고리즘 - 다중 클래스 분류형 선형 모델 분류형 선형 모델 - 다중 클래스 분류형 선형 모델 (로지스틱 회귀만 제외하고) 많은 선형 분류 모델은 태생적으로 이진 분류만을 지원 다중 클래스 multiclass를 지원하지 않음 이진 분류 알고리즘을 다중 클래스 분류 알고리즘으로 확장하는 보편적인 기법은 일대다 one-vs, -rest 방법 일대다 방식은 각 클래스를 다른 모든 클래스와 구분하도록 이진 분류 모델을 학습 → 결국 클래스의 수만큼 이진 분류 모델이 만들어짐 → 예측을 할 때 이렇게 만들어진 모든 이진 분류기가 작동 → 가장 높은 점수를 내는 분류기의 클래스를 예측 값으로 선택 LinearSVC 분류기를 활용하여 세 개의 이진 분류기가 만드는 경계를 시각화 분류 공식의 결과가 가장 높은 클래스 즉, 가장 가까운 직선의 클래스 [ABC 220923] 지도 학습 알고리즘 - 분류형 선형 모델 분류형 선형 모델 선형 모델은 분류에도 널리 사용 → ex) 이진 분류 (binary classification) 분류용 선형 모델에서는 결정 경계가 입력의 선형 함수 (이진) 선형 분류기는 선, 평면, 초평면을 사용해서 두 개의 클래스를 구분하는 분류기 선형 모델을 학습시키는 알고리즘 두 가지 방법 특정 계수와 절편의 조합이 훈련 데이터에 얼마나 잘 맞는지 측정하는 방법 사용할 수 있는 규제가 있는지, 있다면 어떤 방식인지 불행하게도 수학적이고 기술적인 이유로, 알고리즘들이 만드는 잘못된 분류의 수를 최소화하도록 w와 b를 조정하는 것은 불가능 가장 널리 알려진 두 개의 선형 분류 알고리즘 linear_model.LogisticRegression 구현된 로지스틱 회귀 logistic regression.. [ABC 220921] 지도 학습 알고리즘 -Ridge 회귀 / Lasso 회귀 선형 모델 - Ridge 회귀 선형 모델 - 릿지 회귀 보스턴 주택 가격 데이터 셋을 사용한 릿지 회귀 성능 평가 alpha 값에 따라 모델의 coef_ 속성이 어떻게 달라지는 지를 조사 alpha 매개변수가 모델을 어떻게 변경시키는지 더 깊게 이해할 수 있음 높은 alpha 값은 제약이 많은 모델이므로 작은 alpha 값일 때보다 coef_의 절대값의 크기가 작을 것이라고 예상 릿지(Ridge) 회귀 회귀를 위한 선형 모델이므로 최소 적합법에서 사용한 것과 같은 예측 함수를 사용 릿지 회귀에서의 가중치(w) 선택은 훈련 데이터를 잘 예측하기 위해서 뿐만 아니라 추가 제약 조건을 만족시키기 위한 목적도 있음 → 가중치의 절댓값을 가능한 한 작게 만드는 것 w의 모든 원소가 0에 가깝게 되길 원함 모든 특.. [ABC 220921] 지도 학습 알고리즘 - 선형 모델 선형 모델 선형 모델 linear model 100여 년 전에 개발 지난 몇십년 동안 폭 넓게 연구되고 현재도 널리 쓰임 회귀의 선형 모델 예측 1차원 wave 데이터셋으로 파라미터 w[0]와 b를 직선처럼 되도록 학습 직선의 방정식을 이해하기 쉽도록 그래프의 중앙을 ㅈ가로질러서 x, y 축을 그림 "평균으로 회귀한다" KNeighborsRegressor를 사용하여 만든 선과 비교해보면 직선을 사용한 예측이 더 제약이 많아보인다. 특성이 많은 데이터셋이라면 선형 모델은 매우 훌륭한 성능을 낼 수 있음 선형 회귀(최소 제곱법) 선형 모델 - 선형 회귀 (최소 제곱법) 선형 회귀 linear regression 또는 최소 제곱법 OLS, ordinary least squares은 가장 간단하고 오래된 회귀용.. [ABC 220921] 지도 학습 알고리즘 k-NN 알고리즘 지도 학습 알고리즘 머신 러닝 알고리즘의 작동 방식 학습 데이터로부터 어떻게 학습하고 예측하는가? 모델의 복잡도가 어떤 역할을 하는가? 알고리즘이 모델을 어떻게 만드는가? 모델들의 장단점을 평가하고 어떤 데이터가 잘 들어맞을지 살펴보기 매개변수와 옵션의 의미 학습 예제에 사용할 데이터 셋 k-최근접 이웃 선형모델 결정트리 결정트리의 앙상블 지도 학습 알고리즘 - 예제에 사용할 데이터셋 예제에 사용할 데이터셋 여러 알고리즘을 설명하기 위해 데이터셋도 여러개 사용 → 데이터 이해가 가장 중요하다 어떤 데이터셋은 작고 인위적으로 만드는 것 알고리즘의 특징을 부각하기 위해 만드는 것, 실제 샘플로 만든 큰 데이터 셋 등 두 개의 특성을 가진 forge 지도 학습 알고리즘 - k-최근접 이웃 k-NN (k-nea.. [ABC 2200920] 지도 학습 알고리즘 - 일반화, 과대적합, 과소적합 일반화 일반화 성능이 최대가 되는 모델이 최적임 지도 학습에서는 훈련 데이터로 학습한 모델이 훈련 데이터와 특성이 같다면 처음 보는 새로운 데이터가 주어져도 정확히 예측할 것이라 기대함 모델이 처음 보는 데이터에 대해 정확하게 예측할 수 있으면 → 훈련 세트에서 테스트 세트로 일반화(generalization) 되었다고 함 보통 훈련 세트에 대해 정확히 예측하도록 모델을 구축 → 훈련 세트와 테스트 세트가 매우 비슷하다면 그 모델이 테스트 세트에서도 정확히 예측하리라 기대할 수 있음 문제 정의 : 요트를 구매한 고객과 구매 의사가 없는 고객의 데이터를 이용해 누가 요트를 살지 예측. 관심 없는 고객들을 성가시게 하지 않고 실제 구매할 것 같은 고객에게만 홍보 메일을 보내는 것이 목표 "45세 이상이고 자.. 이전 1 2 3 4 5 6 ··· 8 다음
