Llama 3 8B·70B: 15조 토큰으로 다시 세운 공개 모델 기준

핵심 판단: Llama 3의 영향은 8B·70B 성능 자체보다, 공개 가중치 모델을 실제 제품에 넣을 때 데이터·라이선스·배포를 함께 비교하게 만든 데 있다.

“오픈 모델”이라는 말은 코드가 공개됐다는 뜻, 가중치를 받을 수 있다는 뜻, OSI가 승인한 오픈소스 라이선스라는 뜻이 섞여 쓰인다. Llama 3는 가중치 접근성과 생태계 확장을 크게 높였지만 사용 조건이 없는 모델은 아니었다. 기술 비교와 함께 법적·운영적 배포 조건을 읽어야 정확하다.

발표를 한눈에 보기

• 발표 주체: Meta
• 공식 발표일: 2024-04-18
• 대상: Llama 3
• 발표 당시 상태: 8B·70B 사전학습 및 지시조정 가중치 공개
• 이 글의 질문: 공개 가중치 모델이 상용 API의 대안이 되려면 무엇까지 비교해야 하는가?

15조 개가 넘는 토큰, 128K 어휘 토크나이저, GQA를 사용하고 주요 클라우드와 하드웨어에서 제공한다고 밝혔다.

기술 구조: 무엇이 실제로 달라졌나

더 큰 고품질 데이터와 개선된 후학습, 8K 컨텍스트, 전 크기 GQA가 핵심이며 Llama Guard 2와 Code Shield도 함께 제시됐다.

발표 당시 Llama 3는 15조 토큰 이상으로 학습됐고 128K 어휘 토크나이저와 GQA를 사용했다. 더 큰 어휘는 같은 텍스트를 더 적은 토큰으로 표현할 가능성을 높이고, GQA는 키·값 헤드를 공유해 추론 메모리와 처리량을 절충한다. 품질 향상은 구조 하나보다 데이터 선별, 학습 규모, 지시조정과 안전성 데이터의 결합에서 나왔다.

자체 호스팅은 모델 파일을 내려받는 것으로 끝나지 않는다. 양자화, 배치 크기, KV 캐시, 텐서 병렬, 관측 가능성, 모델 교체 절차를 함께 운영해야 한다. API 비용을 GPU 비용과 단순 비교하면 인력·유휴 용량·장애 대응 비용이 빠진다.

작동 흐름: 라이선스·용도 검토 → 기준 가중치 선택 → 양자화와 서빙 런타임 결정 → 도메인 평가 → 안전 계층과 관측성 추가 → 점진 배포

이 구조에서 개발자가 가져갈 설계 원칙은 다음과 같다:

• 모델 카드와 라이선스를 아키텍처 결정 문서에 포함하고 “오픈소스”와 “오픈 가중치”를 구분한다.
• 벤치마크는 같은 정밀도와 컨텍스트, 하드웨어, 배치 조건에서 비교한다.
• 파인튜닝 전에 검색, 프롬프트, 출력 제약으로 해결 가능한 문제인지 확인해 유지보수 부담을 줄인다.

발표가 바꾼 것과 바꾸지 않은 것

작은 공개 모델도 상용 모델과 경쟁할 수 있다는 기대를 높이며 파인튜닝·로컬 추론 생태계를 크게 확장했다.

Llama 3는 로컬 추론과 파인튜닝 도구의 공통 기준 모델이 됐다. 작은 팀도 데이터가 외부로 나가지 않는 환경, 고정 단가가 중요한 고처리량 작업, 특정 도메인 적응을 검토할 수 있었다. 반대로 최상급 품질과 빠른 기능 업데이트가 필요한 경우 관리형 API의 장점도 더 명확해졌다.

다만 다음 문제까지 해결됐다고 확대 해석해서는 안 된다:

• 공개 가중치만으로 학습 데이터와 전체 학습 과정을 재현할 수 있는 것은 아니다.
• 8B와 70B의 벤치마크 격차가 각 회사의 실제 한국어·도메인 데이터 격차와 같지 않다.
• 자체 호스팅은 데이터 통제권을 높이지만 패치, 남용 방지, 용량 계획의 책임도 내부로 가져온다.

직접 평가한다면 이렇게 본다

발표사의 종합 점수 하나를 재현하는 것보다, 실제 제품의 입력과 실패 비용에 맞춘 평가가 더 유용하다. 이 주제라면 다음 순서로 확인한다:

• 실제 요청을 난이도와 민감도별로 나누고 상용 API와 동일한 채점 기준을 적용한다.
• FP16·8비트·4비트에서 품질 손실, 메모리, 처리량, 첫 토큰 지연을 비교한다.
• 평균 부하와 피크 부하를 나눠 GPU 사용률과 요청당 총비용을 계산한다.
• 프롬프트 공격, 개인정보 재현, 위험 출력에 대해 모델과 외부 가드레일을 각각 시험한다.

자체 호스팅의 손익분기점은 토큰 가격만으로 정해지지 않는다. 보안 요구, 트래픽 안정성, 모델 운영 역량을 비용 모델에 명시해야 한다.

내 판단

Llama 3는 모델 선택을 구매 결정에서 시스템 설계 결정으로 바꿨다. 내 기준에서는 데이터 경계나 고정 워크로드가 명확할 때 공개 가중치의 가치가 크다. 단지 API 요금을 피하려는 목적이라면 운영 복잡성이 이익을 쉽게 상쇄한다. 모델 이름보다 배포 책임을 어디에 둘지 먼저 정하는 편이 낫다.

Meta는 오픈소스라고 표현했지만 OSI 승인 라이선스는 아니며 월간 사용자 규모에 따른 추가 조건이 있었다.

검증 범위

이 글은 공식 발표와 공개된 기술 자료를 바탕으로 구조와 제품 영향을 분석했다. 직접 벤치마크나 장기 운영 검증은 수행하지 않았으며, 발표사가 제시한 수치는 해당 기관의 평가 조건에 한정해 해석했다. 업데이트 시점은 2026년 7월 18일이다.