[ABC 220927] 비지도 학습

비지도 학습의 종류

• 비지도 학습 (unsupervised-learning) 이란?
  • 알고 있는 출력값이나 정보 없이 학습 알고리즘을 가르쳐야 하는 모든 종류의 머신러닝
    • 비지도 학습 알고리즘은 입력 데이터만으로 데이터에서 지식을 추출
  • 비지도 학습에는 비지도 변환 (unsupervised transformation)과 군집(clustering)이 있음
  • 비지도 변환 : 데이터를 새롭게 표현하여 사람이나 다른 머신러닝 알고리즘이 원래 데이터보다 쉽게 해석할 수 있도록 만드는 알고리즘임
    • 많은 고차원 데이터를 특성의 수를 줄이면서 꼭 필요한 특징을 포함한 데이터로 표현하는 방법인 차원 축소 (dimensionality reduction)의 대표적 예는 시각화를 위해 데이터셋을 2차원으로 변경하는 경우
    • 비지도 변환으로 데이터를 구성하는 단위나 성분을 검색 : 많은 텍스트 문서에서 주제를 추출
      
      • 소셜 미디어에서 선거, 총기 규제, 팝스타 같은 주제로 일어나는 토론을 추적할 때 사용 가능
  • 군집 : 데이터를 비슷한 것끼리 그룹으로 묶는 작업
    • 소셜 미디어 사이트에 사진을 업로드하는 경우의 예
      • 업로드한 사진을 분류하려면 같은 사람이 찍힌 사진을 같은 그룹으로 묶을 수 있으나 사이트는 사진에 찍힌 사람이 누군지, 전체 사진 앨범에 얼마나 많은 사람이 있는지 알지 못함
      • 이때 가능한 방법은 사진에 나타난 모든 얼굴을 추출해서 비슷한 얼굴로 그룹 짓는 것임. 이 얼굴들이 같은 사람의 얼굴이라면 이미지들을 그룹으로 잘 묶은 결과임

비지도 학습의 도전 과제

• 비지도 학습에서 가장 어려운 일은 알고리즘이 뭔가 유용한 것을 학습했는지 평가하는 것임
  • 비지도 학습은 보통 레이블이 없는 데이터에 적용하기 때문에 무엇이 올바른 출력인지 모름
  • 비지도 학습의 결과를 평가하기 위해서는 직접 확인한 것이 유일한 방법일 때가 많음
  • 비지도 학습 알고리즘은 데이터 과학자가 데이터를 잘 이해하고 싶을 때 탐색적 분석 단계에서 많이 사용됨
  • 비지도 학습은 지도 학습의 전처리 단계에서도 사용됨. 비지도 학습의 결과로 새롭게 표현된 데이터를 사용해 학습하면 지도 학습의 정확도가 좋아지기도 하며 메모리와 시간을 절약할 수 있음
  • 전처리 메서드 : 지도 학습 알고리즘에서 전처리와 스케일 조정을 자주 사용하지만, 스케일 조정 메서드는 지도 정보(supervised information)를 사용하지 않으므로 비지도 방식임