训练数据,MMLU75%,MT-bench 8.7分。微软推出的Phi-3系列小型开源语言模型,在多种语言、推理、编程和数学基准测试中展示了前所未有的性能,超越了相同大小及更大型号的其他模型。
- Phi-3模型由于其小型化设计,在资源受限的设备上运行,同时能够保持高效性能。
适应多种环境:适合部署在智能手机、嵌入式系统等边缘计算设备上,可以在不依赖云计算的情况下本地处理数据,减少延迟,增强隐私保护。
Phi-3-mini3.8B的参数,3.3T token训练数据。在多个学术基准测试中,Phi-3-mini性能接近或等同于市场上的大模型,例如在MMLU测试中得分为69%,在MT-bench测试中得分为8.38分,和GPT-3.5和Mixtral 8x7B相当,甚至超过刚发布的Llama 3 8B。
Phi-3-small和Phi-3-medium这两个是扩展模型:Phi-3-Small是7B参数,4.8T token
Phi-3-Medium是14B参数,4.8T token训练数据,MMLU78%,MT-bench 8.9分。
Phi-3 Microsoft Blog Phi-3微软博客
Phi-3 Technical Report Phi-3技术报告
模型下载:
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct