Meta, 동급 최고의 오픈소스 모델 Llama-3 출시
Meta, 동급 최고의 오픈소스 모델 Llama-3 출시
Meta에서 8B와 70B 두 개의 파라미터 사이즈로 Llama-3가 출시되었습니다.
1. Llama-3 벤치마크 결과 공개
Llama 3은 여러 산업 벤치마크에서 최고 수준의 성능을 보여주고 있으며, 특히 추론 능력이 크게 향상되었습니다. Meta는 Llama 3이 현재 동급 최고의 오픈소스 언어 모델이라고 자신하고 있습니다.
2. 학습데이터 및 학습에 적용된 혁신
라마 3는 공개적으로 사용 가능한 소스에서 수집된 15T 이상의 토큰으로 사전 학습되었습니다. 학습 데이터 세트는 라마 2에 사용된 것보다 7배 더 크고 4배 더 많은 코드가 포함되어 있습니다. 향후 다국어 사용 사례에 대비하기 위해, Llama 3 사전 학습 데이터 세트의 5% 이상이 30개 이상의 언어를 포함하는 고품질 비영어 데이터로 구성되어 있습니다.
- 토크나이저 개선으로 언어 인코딩 효율성 대폭 향상
- Grouped Query Attention(GQA) 도입으로 추론 효율 개선
- 7배 더 많은 15조 토큰으로 사전학습
- 30개 이상 언어의 고품질 비영어 데이터 추가
- 강화학습 기법 적용으로 추론과 코딩 성능 향상
3. 고품질의 휴면 평가 세트 공개
이 평가 세트에는 조언 구하기, 브레인스토밍, 분류, 비공개 질문 답변, 코딩, 창의적 글쓰기, 추출, 캐릭터/캐릭터에 빙의, 공개 질문 답변, 추론, 재작성, 요약 등 12가지 주요 사용 사례를 포괄하는 1,800개의 프롬프트가 포함됩니다.
4. Meta.ai 웹사이트 출시
WhatsApp, Instagram, Facebook, Messenger의 상단에 있는 검색창에 메타 AI를 통합하여 더 쉽게 사용할 수 있도록 하고 있습니다. 또한 웹에서도 사용할 수 있도록 웹사이트인 meta.ai를 구축했습니다.
아직 한국에서는 접속이 안됩니다. 미국 외의 12개 이상의 국가에서 Meta AI를 영어로 출시하고 있습니다. 이제 호주, 캐나다, 가나, 자메이카, 말라위, 뉴질랜드, 나이지리아, 파키스탄, 싱가포르, 남아프리카공화국, 우간다, 잠비아, 짐바브웨에서 Meta AI를 이용할 수 있다고 합니다.
5. 앞으로
현재 공개된 8B, 70B 모델은 시작에 불과합니다. 향후 몇 달 안에 다국어, 멀티모달, 장문 콘텍스트 이해 등의 새로운 기능을 갖춘 대규모 모델들이 속속 공개될 예정이라고 합니다. 이미 400B 파라미터 이상의 초대형 언어모델 학습도 진행 중이라고 하네요.
사이트에는 Llama-3 400B에 대한 내용도 살짝 언급이 되었는데요. MMLU가 86.1 로 GPT-4의 86.4 를 거의 따라잡은 모습을 보여주고 있습니다.
- Llama-3 소개 : https://ai.meta.com/blog/meta-llama-3
- Llama-3 다운로드 : https://llama.meta.com/llama3
- Meta AI 소개 : https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3
- Llama-3 GitHub : https://github.com/meta-llama/
- Llama-3 Model Card : https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
- Hugging Face
ㄴ https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
ㄴ https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct