作者：TechVerse

在Text to image的发展过程中，Stability发布的Stable Diffusion开源模型，让文生图实现了飞速的发展，极大的降低了构建应用的门槛，并且在开源社区中成长出了ControlNet，Lora等层出不穷的好东西。

因此，在OpenAI统治的大语言模型市场上，大家一直期待着能够有Stable Diffusion一样的开源模型出现，也即是大语言模型的"Stable Diffusion“时刻。而今天，Stable Diffusion的创作者，Stability AI正式发布了他们自己的可商用开源语言模型！

Stability AI发布了一款名为StableLM的开源语言模型，旨在让基础AI技术更加透明、易于访问和支持。StableLM模型基于一个新的实验数据集进行训练，可生成文本和代码，支持多种下游应用。Stability AI还发布了一组经过指令微调的研究模型，仅供研究使用。Stability AI的目标是促进AI技术的透明度、可访问性和支持性，以便为广泛的用户和开发者带来经济利益。团队将继续发布更多模型并扩大其规模。

根据Stability官方宣布:

今天，Stability AI发布了一款新的开源语言模型StableLM。该模型的Alpha版本有30亿和70亿参数，接下来将推出150亿至650亿参数的模型。在CC BY-SA-4.0许可条款的约束下，开发者可以自由查看、使用并调整我们的StableLM基础模型，用于商业或研究目的。

2022年，Stability AI推动了Stable Diffusion的公开发布，这是一款革命性的图像模型，代表了透明、开放、可扩展的AI替代品。通过发布StableLM模型套件，Stability AI继续让所有人都能使用基础AI技术。我们的StableLM模型可以生成文本和代码，并将支持一系列下游应用。它们展示了如何通过适当的训练，小型且高效的模型可以实现高性能。

StableLM的发布建立在我们与EleutherAI（一个非营利性研究中心）开源早期语言模型的经验之上。这些语言模型包括GPT-J、GPT-NeoX和Pythia套件，它们是在The Pile开源数据集上训练的。许多最近的开源语言模型继续以这些工作为基础，包括Cerebras-GPT和Dolly-2。

StableLM是在一个基于The Pile的新实验数据集上进行训练的，但其规模是The Pile的三倍，包含1.5万亿个内容标记。我们将在适当的时候发布有关数据集的详细信息。这个丰富的数据集使得StableLM在会话和编码任务方面具有惊人的高性能，尽管其参数规模只有30亿至70亿（相比之下，GPT-3有1750亿参数）。

我们还将发布一组经过指令微调的研究模型。起初，这些微调模型将使用五个最近的开源数据集进行对话代理的训练：Alpaca、GPT4All、Dolly、ShareGPT和HH。这些微调模型仅供研究使用，并在非商业CC BY-NC-SA 4.0许可下发布，符合斯坦福大学的Alpaca许可。

请查看下面的一些示例，由我们的70亿参数微调模型生成：

语言模型将成为数字经济的支柱，我们希望每个人都能参与到它们的设计中。像StableLM这样的模型展示了我们对透明、易于访问和支持的AI技术的承诺：

透明。我们将模型开源，以促进透明度并建立信任。研究人员可以“看到内部”，验证性能、研究解释技术、识别潜在风险并帮助制定保护措施。公共和私营部门的各种组织可以根据自己的需求调整（“微调”）这些开源模型，而无需共享敏感数据或放弃对AI能力的控制。

易于访问。我们针对边缘设计，让普通用户可以在本地设备上运行我们的模型。使用这些模型，开发者可以构建独立的应用程序，与广泛使用的硬件兼容，而无需依赖于一两家公司的专有服务。这样，AI的经济利益将由广泛的用户和开发者共享。模型的开放、细粒度访问让广泛的研究和学术界能够开发比封闭模型更先进的可解释性和安全技术。

支持。我们构建模型是为了支持用户，而不是取代他们。我们专注于高效、专业和实用的AI性能，而不是追求神一般的智能。我们开发工具，帮助普通人和普通公司利用AI释放创造力，提高生产力，开辟新的经济机会。

模型现已在我们的GitHub仓库中提供。我们将在不久的将来发布完整的技术报告，并期待着与开发者和研究人员继续合作，推出StableLM套件。此外，我们将启动我们的群众参与型RLHF计划，并与Open Assistant等社区项目合作，创建开源AI助手数据集。

在Github和HuggingFace上上线了模型。

来源：https://mp.weixin.qq.com/s/zqDfG1qf7vZZaFDMWmB4AA