[Machine Learning] UnSupervised Learning(비지도 학습)

UnSupervised Learning(비지도 학습)

 

• 입력으로 들어가는 데이터에 label이 없다.
• 즉, 데이터에 예측값이 맞는지 확인할 정답값이 없다는 것
• 스스로 특징을 분석하여 구분하기에 비지도 학습

 

 

장점

• 레이블이 필요하지 않다. (양질의 데이터가 많지 않기때문에 굉장히 큰 이점)
• 레이블이 없는 데이터들을 대량으로 활용할 수 있다.

 

단점

• 레이블이 없기 때문에 평가를 할 때 명확하게 평가하지 못한다.
• 정확도를 크게 기대하면 안된다.

 

 

비지도 학습의 종류에는 clustering(군집화), 차원축소, 이상치 및 특이치 감지 등이있다.

 

Clustering(군집화)

 

비슷한 특징을 가진 데이터를 그룹으로 나누는 것을 Clustering(군집화)이라고 한다.

 

 

 

 

 

차원 축소(Dimentionality Reduction)

• 실제로 사용하는 데이터에는 차원(Dimention)이 엄청나게 큰 경우가 많다.
• 차원이 크다는 것은 데이터의 크기가 크다는 것이기 때문에 효율적인 알고리즘을 위해서는 차원 축소가 필요하다.

 

 

 

 

 

이상 탐지(Anomaly Detection)

 

Unsupervised Learning(비지도 학습)에서의 이상 탐지(Anomaly Detection)은 아래 조건을 만족해야한다.

• 대부분의 데이터가 정상적인 데이터여야 한다.
  • 정상적인 데이터들의 군집을 기준으로 새롭게 추가된 데이터를 검사하기 때문
• PCA와 같은 방법을 사용하여 차원을 축소하고 확대하면서 비정상 샘플을 찾아낸다.
• 정확도가 불안정하다는 단점이 있다.

 

이상 탐지(Anomaly Detection)에는 이상치 탐지(Novelty Detection)과 특이치 탐지(Outlier Detection)이 있다.

 

이상치 탐지(Novelty Detection)

기존에 가지고 있던 데이터들에 존재하지 않는 새로운 데이터(집단)가 나타난 경우

 

 

특이치 탐지(Outlier Detection)

전혀 관련이 없는 새로운 샘플이 등장한 경우

 

위 사진을 보면 이해가 쉬울거라 생각된다.

 

 

 

 

 

 

비지도 학습 사진 출처 - https://www.google.com/url?sa=i&url=https%3A%2F%2Feastgate-software.com%2Fwhat-is-unsupervised-learning%2F&psig=AOvVaw2vTypcINrhFpUmVEsT1_Xp&ust=1722140485796000&source=images&cd=vfe&opi=89978449&ved=0CBQQjhxqFwoTCKjgm7GvxocDFQAAAAAdAAAAABAE

리디렉션 알림

 

 

군집화 이미지 - https://www.google.com/url?sa=i&url=https%3A%2F%2Fwww.geeksforgeeks.org%2Fclustering-in-machine-learning%2F&psig=AOvVaw2KWOeZ_vvugwDk-uO25x68&ust=1722141085975000&source=images&cd=vfe&opi=89978449&ved=0CBEQjRxqFwoTCJDk18-xxocDFQAAAAAdAAAAABAE

리디렉션 알림

 

차원 축소 사진 출처 - https://www.google.com/url?sa=i&url=https%3A%2F%2Fdoug.tistory.com%2F71&psig=AOvVaw2gonmGwnwH7tutWlIcOy4W&ust=1722141556885000&source=images&cd=vfe&opi=89978449&ved=0CBQQjhxqFwoTCJicza-zxocDFQAAAAAdAAAAABAI

리디렉션 알림

 

 

이상 탐지 사진 출처 - https://www.google.com/url?sa=i&url=https%3A%2F%2Ftowardsdatascience.com%2Funsupervised-anomaly-detection-on-spotify-data-k-means-vs-local-outlier-factor-f96ae783d7a7&psig=AOvVaw1N8p4JrYShTDZzeC6ttoGQ&ust=1722141929013000&source=images&cd=vfe&opi=89978449&ved=0CBQQjhxqFwoTCJiOg-K0xocDFQAAAAAdAAAAABAE

리디렉션 알림

 

 

이상 탐지 사진 출처 - https://www.google.com/url?sa=i&url=https%3A%2F%2Fwww.researchgate.net%2Ffigure%2FVisualization-of-outlier-detection-anomaly-detection-and-novelty-detection_fig1_359692596&psig=AOvVaw2CmIFz1q0S2BNMHMSnrB55&ust=1722142269099000&source=images&cd=vfe&opi=89978449&ved=0CBQQjhxqFwoTCLiE7Ia2xocDFQAAAAAdAAAAABBY

리디렉션 알림