埃隆·马斯克将对3140亿个参数的大语言模型Grok进行开源
近日，据海外媒体报道，埃隆·马斯克（Elon Musk）旗下的人工智能公司xAI公司宣布将对自己的大语言模型Grok进行开源。任何企业公司、程序员，甚至个人都可以使用Grok的权重（模型的“神经元”之间的连接强度，或允许模型做出决策、接受输入并以文本形式提供输出的软件模块）以及其他相关文档，并将模型的副本用于任何他们想要的地方，包括商业应用。
xAI公司在一篇博客中表示，我们发布了我们的大语言模型Grok-1的基本模型权重和网络架构，Grok-1是由xAI从零开始训练的3140亿个参数混合专家（Mixture-of-Experts）模型。
参数（parameters）指的是控制模型的权重和偏差，参数越多，通常模型越高级、越复杂、性能越好。Grok有3140亿个参数，远远领先于其他的竞争对手，如Meta的Llama 2（700亿个参数）和Mistral 8x7B（120亿个参数）。
另外，Grok是在Apache许可证2.0下开源的，它允许商业使用、修改和分发，尽管它不能注册商标，用户也不承担任何责任或保证。用户必须复制原始的许可和版权声明，并说明他们所做的更改。Grok的架构是在2023年10月使用JAX和Rust之上的定制训练堆栈开发的，它融合了神经网络设计的创新方法。该模型对给定token使用25%的权重，这一策略提高了其效率和有效性。
Grok最初是在2023年11月作为专有或“闭源”模型发布的，到开源前，Grok只能在社交网络X（以前的Twitter）上访问，用户可以通过X Premium+付费订阅服务使用，每月收费16美元或每年168美元。
然而，Grok的发布并不包括其训练数据的完整语料库。这对于使用模型来说并不重要，因为它已经被训练过了，但是它不允许用户看到它从X社交网络上的用户文本帖子中学习到什么（xAI的博客文章没有透露Grok是“在大量文本数据上训练的基础模型，没有针对任何特定任务进行微调”）。它也不包括任何与X上可用的实时信息的连接。埃隆·马斯克最初将其吹捧为Grok优于其他大语言模型的主要特性。为此，用户仍然需要在X上订阅使用Grok的付费版本。
延伸阅读：
- 红杉资本领投，大语言模型应用开发框架初创公司LangChain获2500万美元A轮融资
- 微软发布AutoGen开源框架，简化大语言模型工作流的编排、优化和自动化
- Stability AI发布开源大语言模型StableLM，目前参数在30亿到70亿之间
- 苹果公司发布开源AI模型MGIE，可以根据自然语言指令进行图像编辑
Powered by Froala Editor
