어떤 LLM이 한글을 더 잘할까요?

 

 

 

LLaMA3.1, Gemma2, Qwen2 등 최근에는 한국어도 충분히 잘하는 Multilingual LLM 들이 쏟아지고 있는데요. 그럼 이중에서 어떤걸 쓰는게 좋을까요?

 

누군가의 랩과 고객의 GPU를 절약해주기 위해서 공개된 KMMLU 평가셋에 대해서 한국어 좀 한다는 모델들 성능을 측정해보고 정리해놓았습니다.

 

LLaMA3.1 405B가 아무래도 크기 때문에 가장 잘하긴 합니다만 Qwen2는 사이즈까지 고려했을때 좋은 선택으로 보입니다. 참고로 Gemma2-9B 한국어 잘하는데...KMMLU 에서는 Qwen2-7B 보다 낮게 나오네요. (다른 한국어 평가셋에서는 Gemma2가 높은 경우가 있습니다) LLM 구축 작업에 참조하십시오~~~

 

김한수님의 글 중에서.....