Llama 3.1 405B: 공개 가중치 모델이 프런티어급으로

한 문장 요약: Meta가 405B, 70B, 8B 모델로 구성된 Llama 3.1과 128K 컨텍스트를 공개했다.

무엇이 발표됐나

Meta의 공식 발표일은 2024-07-23다. 이날 공개된 Llama 3.1의 핵심은 다음과 같다. 405B 출력을 다른 모델 개선에 사용할 수 있도록 라이선스를 조정하고 다국어·도구 사용 능력을 강화했다.

기술적으로 볼 지점

16K H100에서 15조 토큰 이상을 학습한 밀집 405B 모델을 교사 모델로 활용해 합성 데이터와 증류 생태계를 노렸다.

왜 중요했고, 무엇을 경계해야 하나

기업과 연구자가 프런티어급 모델을 자체 환경에서 평가·개조할 수 있는 선택지가 생겼다.

405B 운영 비용은 매우 크며 공개 가중치가 학습 데이터나 전체 재현성을 공개한다는 뜻은 아니었다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• Introducing Llama 3.1 — Meta, 2024-07-23