Stability AI发布开源大语言模型StableLM，目前参数在30亿到70亿之间

　　近日，据海外媒体报道，人工智能图像生成工具Stable Diffusion的开发商Stability AI宣布推出了一套开源大语言模型，该大语言模型被称为StableLM。在Stability AI的公司博客中提到，开发者现在可以在GitHub上使用和调整该模型。

　　与其竞争对手ChatGPT一样，StableLM旨在有效地生成文本和代码。它是在一个更大版本的开源数据集Pile上进行训练的，该数据集包含来自各种来源的信息，包括维基百科、Stack Exchange和PubMed。Stability AI公司表示，StableLM模型目前可用的参数在30亿到70亿个之间，在之后还会有150亿到650亿个参数模型。

　　据介绍，虽然StableLM扩展了Stability AI已经与非营利组织EleutherAI合作开发的开源语言模型，但它也建立在让人工智能工具更容易使用的使命之上，就像它在Stable Diffusion所做的那样。Stability AI公司以多种方式提供文本到图像的人工智能工具，包括公开演示、软件测试版和模型的完整下载，允许开发人员调整该工具并提出各种集成。

　　Stability AI公司称，StableLM可以生成文本和代码，并将助力一系列下游应用。这个模型建立在经典训练集Pile的新实验训练集上，token数量翻了3倍至1.5万亿，公司也将在适当的时候发布数据集的详细信息。尽管公布出来的模型参数量很少，但数据集的丰富性使StableLM在会话和编程任务中表现出惊人的高性能，展现了小型高效模型如何通过适当的训练提供高性能。

Powered by Froala Editor