| Phi | |
| <colbgcolor=#ddd,#000> 분류 | 소형 언어 모델 |
| 개발사 | Microsoft |
| 출시일 |
Phi-1
2022년
6월 22일 |
| 버전 | 3.5 |
| 링크 |
|
[clearfix]
1. 개요
Microsoft에서 개발한 오픈 소스 소형 언어 모델.2. 모델
2.1. Phi-1
Phi의 초기 모델로, 파이썬 코딩 모델로 공개되었다.2.2. Phi-1.5
파이썬 코딩 모델이던 Phi-1을 언어 모델로 업그레이드한 모델이다. 13억 개의 파라미터를 가진 경량 모델이지만 LLM(대형 언어 모델)에 준하는 성능을 보인다. #2.3. Phi-2
27억 매개변수를 가진 모델. 파이-2는 파이-1.5에 비해 논리적 추론과 안전성이 획기적으로 향상되었으며 언어 이해, 추론, 수학, 코딩 과제 등의 벤치마크에서 Mistral 7B, LLaMA-2 7B LLaMA-2 13B의 성능을 대부분 능가하는 것으로 나타났다.또한 이미지를 분석하는 비전 기능도 포함되었다. #
2.4. Phi-3
Phi-3는 매개변수 38억 개인 'mini'와 70억 개인 'small', 140억 개인 'medium' 3가지 버전으로 출시되었다. 가장 크기가 작은 Phi-3 mini조차도 GPT-3.5의 성능과 맞을 정도로 소형 언어모델인데도 불구하고 준수한 성능을 보여준다.2.5. Phi-3.5
38억2000만 매개변수의 'Phi 3.5 mini Instruct', 419억 매개변수의'Phi-3.5 MoE Instruct', 이미지 및 동영상을 분석할 수 있는 41억5000만 매개변수의 'Phi 3.5 vision Instruct' 세 가지 모델로 출시되었다.모든 모델이 12만 8000토큰의 컨텍스트 창을 지원해 대량의 데이터를 한번에 입력할 수 있다.
또한 Phi-3.5 mini Instruct는 RepoQA 벤치마크에서 ' LLaMA-3.1 8B Instruct' ' Mistral 7B Instruct' 등 동급 모델의 성능을 능가했으며, Phi-3.5 MOE Instruct는 MMLU 평가에서 OpenAI의 GPT-4o모델보다 평균 2~3% 높은 점수를 기록했다. #
3. 특징
매개변수가 적어 온디바이스[1]로 사용하기 용이하다.
[1]
인터넷 연결 없이 디바이스 내에서 처리가 가능한 AI