开源=最强大模型!Llama3.1发布,405B超越闭源GPT-4o,扎克伯格:分水岭时刻
7月23日晚,Meta宣布推出开源大模型Llama 3.1系列,该系列包含8B、70B及450B三种参数规模,旨在缩小开源与闭源模型之间的差距。尤其值得注意的是,450B参数的模型在多项基准测试中超越了OpenAI的GPT-4o,并可与顶尖闭源模型如Claude 3.5 Sonnet相抗衡。
同期,Meta创始人兼CEO扎克伯格在其官网博客中强调,Llama 3.1的发布标志着行业转折点,预示着开源AI将成为未来的主流趋势。英伟达高级研究科学家Jim Fan也对此表示祝贺,认为这是一个具有历史意义的时刻,开源技术正将GPT-4级别的能力带入现实。
Llama 3.1在技术层面实现了显著提升,所有模型的上下文窗口扩大至128K,增加了对8种语言的支持。405B版本更是历经大规模训练,使用了超过15万亿个tokens,并动用了1.6万块H100 GPU,成为首个达到如此训练规模的Llama模型。
Meta在官方博客中详细对比了Llama 3.1与其他模型的性能,旗舰模型405B不仅在常识理解、操作性、数学任务上表现出色,能与GPT-4、GPT-4o及Claude 3.5 Sonnet竞争,8B和70B的小型模型也在同类参数模型中保持竞争力。实际应用中,Llama 3.1 405B在人工评估中展现出优于GPT-4o和Claude 3.5 Sonnet的整体性能。
此外,Meta更新了开源许可,首次允许开发者利用Llama模型的输出优化其他模型,并计划将图像、视频和语音功能融入Llama 3,尽管这些功能仍在开发阶段。据透露,Llama系列至今下载总量已突破3亿次。
扎克伯格在另一篇博文中深入探讨了开源AI的重要性,以Linux的成功为例,指出开源有利于创新、降低成本、增强安全,并为开发者提供灵活、高效的解决方案,同时强调开源AI对于推动全球经济和安全具有重要意义。