微软推出38亿参数phi-3-mini模型:每秒可生成12个tokens

【KJKX科技快讯】4月23日消息,微软研究院近日公布了一项令人瞩目的技术成果——Phi-3系列AI模型。这一系列模型包含三个版本:mini(38亿参数)、small(70亿参数)以及medium(140亿参数),分别满足不同场景和需求的应用。

据微软技术报告显示,拥有38亿参数的phi-3-mini模型在经过高达3.3万亿个tokens的训练后,其在基准测试中的跑分性能已经成功超越了Mixtral
8x7B和GPT-3.5等业界知名模型。这一成就彰显了微软在人工智能领域的深厚实力和创新能力。

phi-3-mini模型不仅可以部署在高性能计算机上,还可以轻松应用于手机等便携设备。该模型在27亿参数的Phi-2模型基础上进行了进一步优化,通过整合严格过滤的网络数据和合成数据,提升了模型的通用性和准确性。

尽管phi-3-mini模型在语言理解和推理能力方面表现出色,甚至可以媲美更大参数的AI模型,但微软也坦诚地指出,在某些特定任务,如TriviaQA等,其性能仍然受到模型规模的限制。然而,这并不影响phi-3-mini模型在众多领域中的广泛应用前景。

此外,微软还公布了phi-3-small和phi-3-medium两个模型在MMLU测试中的得分,分别为75.3和78.2,显示出这两个模型在处理复杂任务时也具备了相当高的性能。

文章采集于互联网

相关推荐