미누에요

최근에 LLM을 파인튜닝해보고 있다.그 중 이번에 사용한 Unsloth에 대해서 기록해보고자 한다. Unsloth Unsloth는 파인튜닝을 위한 Python 라이브러리이다.파인튜닝을 할 때, 기존 LLM을 불러와 특정 추가적인 데이터셋으로 학습을 시키게 되는데, 기존 모델의 크기가 보통 굉장히 크기 때문에 추가적으로 학습을 시킬 때 컴퓨터 자원을 많이 필요로 할 수밖에 없다. 이러한 문제점을 해결하기 위해 보다 가볍고, 최적화한 도구인 Unsloth를 사용하는 것이다. 파인튜닝이 뭔데 ?파인튜닝이란 기존 모델에 새로운 데이터들을 추가적으로 학습하여 특정 분야에 답변을 더 잘하도록 만드는 방식이다.Unsloth 공식 웹페이지에서는 "도메인 지식을 향상시켜 특정 작업에 대한 성능을 향상시키는 것, 역전..