专注于软件开发的代码完成，Stability AI发布新年首个AI模型Stable Code 3B

　　近日，据海外媒体报道，文生图人工智能科技公司Stability AI发布了新年的第一个人工智能模型：Stable Code 3B。正如该模型的名称所暗示的那样，Stable Code 3B是一个拥有30亿个参数的模型，它专注于软件开发的代码完成能力。

　　据介绍，在只有30亿个参数的情况下，Stable Code 3B可以在没有专用GPU的笔记本电脑上本地运行，同时仍然提供与Meta的CodeLLaMA 7B等具有竞争力的性能。

　　在2023年底，Stability AI开始推动更小、更紧凑且更强大的模型，比如用于文本生成的StableLM Zephyr 3B模型。Stability AI在2023年8月首次透露了Stable Code，并发布了该模型的初始版本，此后一直在稳步改进技术。

　　自最初发布以来，Stability AI对Stable Code进行了许多方面的改进。有了新的Stable Code 3B，该模型不仅可以对新的代码行提供建议，而且还可以填补现有代码生成中较大的缺失部分。填充代码缺失部分的能力是一种高级的代码完成能力，这被称为“中间填充”（FIM）。

　　据报道，对Stable Code 3B模型的训练还使用了一种称为旋转位置嵌入（RoPE）的技术进行了优化，扩展了上下文大小，允许上下文长度高达10万个token。其他的大语言描写也使用RoPE技术，包括Meta的Llama 2 Long。

　　Stable Code 3B模型建立在Stability AI的Stable LM 3B的自然语言模型上。通过对软件工程数据的进一步训练，该模型获得了代码完成技能，同时保留了通用语言任务的优势。它的训练数据包括代码库、程序员论坛和其他技术来源。Stable Code 3B模型还在18种不同的编程语言上进行了训练。Stability AI声称，Stable Code 3B模型在跨多种语言的基准测试中表现出领先的性能。

　　Stable Code 3B模型涵盖了Python、Java、JavaScript、Go、Ruby和c++等流行编程语言。Stability AI声称，在Python、C++、JavaScript、Java、PHP和Rust编程语言中，Stable Code 3B模型优于StarCoder（另一个同类模型）。

　　据报道，Stable Code 3B模型将作为Stability AI的全新订阅服务供使用，可用于商业用途。

延伸阅读：

• Stability AI发布更新，进入3D内容生成方向
• Stability AI发布开源图像生成模型平台StableStudio
• Stability AI发布文本到图像大模型DeepFloyd IF
• Stability AI发布开源大语言模型StableLM，目前参数在30亿到70亿之间

Powered by Froala Editor