DBRX重磅来袭:开源AI界的新霸主,超越GPT-3.5的壮举!

【KJKX科技快讯】3月31日消息,近日,Databricks发布了一款全新的通用大语言模型DBRX,被誉为“当前最强开源AI”。据悉,在各种严格的基准测试中,该模型的表现均超越了“市面上所有的开源模型”。

DBRX是一款基于Transformer架构的大语言模型,它采用了先进的MoE(Mixture of
Experts)技术,并配备了惊人的1320亿个参数。更该模型在庞大的12T Token源数据上进行了深入的预训练。

据KJKX科技快讯了解,研究人员对DBRX进行了全面的测试。与LLaMA2-70B、Mixtral、Grok-1等市场上主流的开源模型相比,DBRX在语言理解(MMLU)、程式设计(Humaneval)以及数学逻辑(GSM8K)等多个关键基准测试上均展现出了卓越的性能。DBRX在上述三项基准测试中的表现甚至超越了行业巨头OpenAI的GPT-3.5。

Databricks AI部门副总裁Naveen
Rao向知名科技媒体TechCrunch透露,DBRX的研发过程历时两个月,并投入了高达1000万美元的成本。虽然DBRX在各项测试中取得了令人瞩目的成绩,但目前该模型仍需要使用四块英伟达H100
GPU才能运行,这意味着在未来仍有进一步的优化空间。

文章采集于互联网

相关推荐