Phi-3 Mini: 작은 모델도 강해질 수 있음을 보인 합성 데이터 전략

한 문장 요약: Microsoft가 38억 파라미터의 소형 언어 모델 Phi-3 Mini를 공개했다.

무엇이 발표됐나

Microsoft의 공식 발표일은 2024-04-23다. 이날 공개된 Phi-3 Mini의 핵심은 다음과 같다. 128K 컨텍스트 버전과 ONNX 최적화를 제공하고 Azure, Hugging Face, Ollama 등 다양한 환경에 배포했다.

기술적으로 볼 지점

고품질 웹 데이터와 교과서형 합성 데이터를 엄격히 선별해 작은 파라미터 예산에서 추론·코딩 성능을 끌어올린 것이 중심이다.

왜 중요했고, 무엇을 경계해야 하나

온디바이스와 비용 민감형 서비스에서 모델 크기보다 데이터 품질과 증류·후학습이 더 중요한 설계 변수가 됐다.

작은 모델은 지식 저장 용량과 장문 생성에서 큰 모델에 불리하며 공식 벤치마크가 실제 도메인 성능을 보장하지 않았다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• Introducing Phi-3 — Microsoft, 2024-04-23