Cointime

扫码下载App
iOS & Android

Stability AI 连扔两个王炸!首个开源 RLHF 模型登基,DeepFloyd IF 像素级出图

最近,大名鼎鼎的Stable Diffusion背后的公司,一连整了两个大活。

首先,Stability AI重磅发布了世上首个基于RLHF的开源LLM聊天机器人——StableVicuna。

StableVicuna基于Vicuna-13B模型实现,是第一个使用人类反馈训练的大规模开源聊天机器人。

有网友经过实测后表示,StableVicuna就是目前当之无愧的13B LLM之王!

对此,1x exited创始人表示,这可以看作是自ChatGPT推出以来的第二个里程碑。

另外,Stability AI 发布了开源模型DeepFloyd IF,这个文本到图像的级联像素扩散模型功能超强,可以巧妙地把文本集成到图像中。

这个模型的革命性意义在于,它一连解决了文生图领域的两大难题:正确生成文字,正确理解空间关系!

秉持着开源的一贯传统,DeepFloyd IF在以后会完全开源。

Stailibity AI,果然是开源界当之无愧的扛把子。

StableVicuna

世上首个开源RLHF LLM聊天机器人StableVicuna,由Stability AI震撼发布!

一位Youtube主播对Stable Vicuna进行了实测,Stable Vicuna在每一次测试中,都击败了前任王者Vicuna。

所以这位Youtuber激动地喊出:Stable Vicuna就是目前最强大的 13B LLM模型,是当之无愧的LLM模型之王!

StableVicuna基于小羊驼Vicuna-13B模型实现, 是Vicuna-13B的进一步指令微调和RLHF训练的版本。

而Vicuna-13B是LLaMA-13B的一个指令微调模型。

从以下基准测试可以看出,StableVicuna与类似规模的开源聊天机器人在整体性能上的比较。

StableVicuna可以做基础数学题。

可以写代码。

还能为你讲解语法知识。

开源聊天机器人平替狂潮

Stability AI想做这样一个开源的聊天机器人,当然也是受了此前LLaMa权重泄露引爆的ChatGPT平替狂潮的影响。

从去年春天Character.ai的聊天机器人,到后来的ChatGPT和Bard, 都引发了大家对开源平替的强烈兴趣。

这些聊天模型的成功,基本都归功于这两种训练范式:指令微调和人类反馈强化学习 (RLHF)。

这期间,开发者一直在努力构建开源框架帮助训练这些模型,比如trlX、trl、DeepSpeed Chat和ColossalAI等,然而,却并没有一个开源模型,能够同时应用指令微调和RLHF。

大多数模型都是在没有RLHF的情况下进行指令微调的,因为这个过程十分复杂。

最近,Open Assistant、Anthropic 和 Stanford都开始向公众提供RLHF数据集。

Stability AI把这些数据集与trlX提供的RLHF相结合,就得到了史上第一个大规模指令微调和RLHF模型——StableVicuna。

训练过程

为了实现StableVicuna的强大性能,研究者利用Vicuna作为基础模型,并遵循了一种典型的三级RLHF管线。

Vicuna在130亿参数LLaMA模型的基础上,使用Alpaca进行调整后得到的。

他们混合了三个数据集,训练出具有监督微调 (SFT) 的Vicuna基础模型:

  • OpenAssistant Conversations Dataset (OASST1),一个人工生成的、人工注释的助理式对话语料库,包含 161,443条消息,分布在66,497个对话树中,使用35种不同的语言;
  • GPT4 All Prompt Generations,由 GPT-3.5 Turbo 生成的 437,605 个提示和响应的数据集;
  • Alpaca,这是由OpenAI的text-davinci-003引擎生成,包含52,000条指令和演示的数据集。

研究者使用trlx,训练了一个奖励模型。在以下这些RLHF偏好数据集上,研究者得到了SFT模型,这是奖励模型的基础。

  • OpenAssistant Conversations Dataset (OASST1),包含7213个偏好样本;
  • Anthropic HH-RLHF,一个关于AI助手有用性和无害性的偏好数据集,包含160,800个人类标签;
  • 斯坦福人类偏好 (SHP),这是一个数据集,包含348,718个人类对各种不同回答的集体偏好,包括18个从烹饪到哲学的不同学科领域。

最后,研究者使用了trlX,进行近端策略优化 (Proximal Policy Optimization, PPO) 强化学习,对SFT模型进行了RLHF训练,然后,StableVicuna就诞生了!

据Stability AI称,会进一步开发StableVicuna,并且会很快在Discord上推出。

另外,Stability AI还计划给StableVicuna一个聊天界面,目前正在开发中。

相关演示已经可以在HuggingFace上查看了,开发者也可以在Hugging Face上下载模型的权重,作为原始LLaMA模型的增量。

但如果想使用StableVicuna,还需要获得原始LLaMA模型的访问权限。

获得权重增量和 LLaMA 权重后,使用GitHub存储库中提供的脚本将它们组合起来,就能得到StableVicuna-13B了。不过,也是不允许商用的。

DeepFloyd IF

在同一时间,Stability AI还放出了一个大动作。

你敢信,AI一直无法正确生成文字这个老大难问题,竟然被解决了?(基本上)

没错,下面这张「完美」的招牌,就是由StabilityAI全新推出的开源图像生成模型——DeepFloyd IF制作的。

除此之外,DeepFloyd IF还能够生成正确的空间关系。

模型刚一发布,网友们已经玩疯了:

prompt: Robot holding a neon sign that says "I can spell".

不过,对于prompt中没有明确说明的文字,DeepFloyd IF大概率还是会出错。

prompt:A neon sign of an American motel at night with the sign javilop

官方演示

顺便一提,在硬件的需求上,如果想要实现模型所能支持的最大1,024 x 1,024像素输出,建议使用24GB的显存;如果只要256 x 256像素,16GB的显存即可。

是的,RTX 3060 16G就能跑。

代码实现:https://gist.github.com/Stella2211/ab17625d63aa03e38d82ddc8c1aae151

开源版谷歌Imagen

2022年5月,谷歌高调发布了自家的图像生成模型Imagen。

根据官方演示的效果,Imagen不仅在质量上完胜OpenAI最强的DALL-E 2,更重要的是——它能够正确地生成文本。

迄今为止,没有任何一个开源模型能够稳定地实现这一功能。

与其他生成式AI模型一样,Imagen也依赖于一个冻结的文本编码器:先将文本提示转换为嵌入,然后由扩散模型解码成图像。但不同的是,Imagen并没有使用多模态训练的CLIP,而是使用了大型T5-XXL语言模型。

这次,StabilityAI推出的DeepFloyd IF复刻的正是这一架构。

甚至在测试中,DeepFloyd IF凭借着COCO数据集上6.66的zero-shot FID分数,直接超越了谷歌的Imagen,以及一众竞品(包括自家Stable Diffusion)。

下一代图像生成AI模型

具体来说,DeepFloyd IF是一个模块化、级联的像素扩散模型。

  • 模块化:

DeepFloyd IF由几个神经模块组成(可以解决独立任务的神经网络),它们在一个架构中相互协同工作。

  • 级联:

DeepFloyd IF以多个模型级联的方式实现高分辨率输出:首先生成一个低分辨率的样本,然后通过连续的超分辨率模型进行上采样,最终得到高分辨率图像。

  • 扩散:

DeepFloyd IF的基本模型和超分辨率模型都是扩散模型,其中使用马尔可夫链的步骤将随机噪声注入到数据中,然后反转该过程从噪声中生成新的数据样本。

  • 像素:

DeepFloyd IF在像素空间工作。与潜在扩散模型(如Stable Diffusion)不同,扩散是在像素级别实现的,其中使用潜在表征。

上面这个流程图展示的就是,DeepFloyd IF三个阶段的性能:

  • 阶段1:

基本扩散模型将定性文本转换为64x64图像。DeepFloyd团队已经训练了三个版本的基本模型,每个版本都有不同的参数:IF-I 400M、IF-I 900M和IF-I 4.3B。

  • 阶段2:

为了「放大」图像,团队将两个文本条件超分辨率模型(Efficient U-Net)应用于基本模型的输出。其中之一将64x64图像放大到256x256图像。同样,这个模型也有几个版本:IF-II 400M和IF-II 1.2B。

  • 阶段3:

应用第二个超分辨率扩散模型,生成生动的1024x1024图像。最后的第三阶段模型IF-III拥有700M参数。

值得注意的是,团队还没有正式发布第三阶段的模型,但DeepFloyd IF的模块化特性让我们可以使用其他上采样模型——如Stable Diffusion x4 Upscaler。

团队表示,这项工作展示了更大的UNet架构在级联扩散模型的第一阶段的潜力,从而为文本到图像合成展示了充满希望的未来。

数据集训练

DeepFloyd IF是在一个定制的高质量LAION-A数据集上进行训练的,该数据集包含10亿(图像,文本)对。

LAION-A是LAION-5B数据集英文部分的一个子集,基于相似度哈希去重后获得,对原始数据集进行了额外的清理和修改。DeepFloyd的定制过滤器用于删除水印、NSFW和其他不适当的内容。

目前,DeepFloyd IF模型的许可仅限于非商业目的的研究,在完成反馈的收集之后,DeepFloyd和StabilityAI团队将发布一个完全免费的商业版本。

参考资料:

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stability.ai/blog/deepfloyd-if-text-to-image-model

  来源:https://mp.weixin.qq.com/s/h39ZjVg_9XA8jl3fIIAEfg

评论

所有评论

推荐阅读

  • RedotPay完成4000万美元A轮融资,Lightspeed领投

    3月14日消息,据RedotPay官方公告,其已完成4000万美元A轮融资,由Lightspeed领投,HSG、Galaxy Ventures、DST Global Partners、Accel、Vertex Ventures等参投。本轮融资将用于加速全球加密支付解决方案的扩展。 RedotPay成立于2023年4月,已发展超300万用户,提供无缝的加密货币支付及法币转换服务,致力于为无银行账户群体提供金融服务。

  • 深潮 TechFlow ·

    三个月亏完所有仓位后,这是我的一点点感悟

    金钱只是衡量你进步的方式,但这并不意味着你能在达到目标时「保存进度」。

  • 监控技术公司 Flock Safety 获 A16z 领投 2.75 亿美元融资

    总部位于亚特兰大的监控技术公司 Flock Safety 完成了由 Andreessen Horowitz (A16z) 领投的 2.75 亿美元融资,公司估值达到 75 亿美元。参与此轮投资的还包括 Greenoaks Capital 和 Bedrock Capital。 至此,Flock Safety 累计融资额已超过 9.5 亿美元。公司计划于 2025 年开发美国本土制造的无人机,并在佐治亚州建设一座面积 10 万平方英尺的制造工厂。该公司专注于提供基于人工智能的安全监控解决方案,主要面向政府和企业客户。

  • 特朗普加密项目WLFI已结束公开发行,总融资额达5.5亿美元

    据官方网站显示,特朗普家族加密项目 World Liberty Financial 已完成全部社区公开发行融资(此前曾追加一轮),总融资额达 5.5 亿美元。

  • nunu.ai完成600万美元种子轮融资,TIRTA Ventures与a16z speedrun领投

    据nunu.ai 官方消息,该公司已完成600万美元种子轮融资,由TIRTA Ventures 和 a16z speedrun 共同领投,其他参投方包括 Factorial Funds、Y Combinator、Earthling、Hartmann Capital、FOV Ventures 和 New Renaissance Ventures。 nunu.ai 专注于人工智能、游戏与机器人技术的交叉领域,致力于构建首个能够测试和游玩游戏的AI智能体,推动游戏产业的智能化发展。

  • 韩国拟于Q3出台新指南以解除禁止机构投资加密货币的禁令

    韩国金融监管机构周三宣布,计划在第三季度发布针对机构加密货币投资的全面指导方针。金融服务委员会在与当地加密行业专家的会议中作出了这一宣布。虽然针对上市公司和专业投资者的投资指南预计将在第三季度出台,但金融服务委员会表示,其目标是在4月份提前推出针对非营利组织和加密货币交易所的投资指南。 金融服务委员会于1月首次宣布将逐步解除禁止机构投资者投资加密货币的事实禁令。上个月,该监管机构透露,它打算在第二季度首先允许慈善机构和大学出售其加密货币资产。即将发布的详细指南进一步巩固了韩国对加密货币立场的转变,不再严格反对加密资产进入传统金融市场。

  • 交易协议Vest完成500万美元融资,贝莱德、Jane Street Grop等参投

    3月12日消息,交易协议Vest宣布完成500万美元融资,BlackRock、Jane Street Grop、Selini Capital、Amber Group、QCQ Group与Big Brain VC等参投。

  • 德意志交易所旗下 Clearstream 将于 4 月开始提供比特币、以太坊托管服务

    德意志交易所(Deutsche Boerse)的后交易部门 Clearstream 宣布将于今年 4 月开始为机构客户提供加密货币结算和托管服务。 根据 Clearstream 3 月 11 日发布的声明,该公司计划通过其控股子公司 Crypto Finance 作为次级托管人,为其 2500 家客户提供比特币和以太坊服务。Clearstream 未来还计划扩展支持其他加密货币,并提供质押、借贷和经纪等服务。

  • 软银据传正在洽谈融资160亿美元专门投资人工智能

    软银正在洽谈一笔高达160亿美元的贷款,专门用于推进人工智能项目。这一进展紧随一笔185亿美元的大额借款之后,标志着公司在AI领域的积极进取。据悉,软银后续可能在2026年初寻求新一轮高达80亿美元的借款。(The Information)

  • 花旗:下调美股评级至中性,上调中国股市评级至增持

    花旗集团策略师已将美国股市评级从增持下调至中性,同时将中国股市评级上调至增持,理由是“美国的例外论至少已经暂停”。 花旗银行宏观研究和资产配置全球主管德克·威勒表示,自 2023 年 10 月以来花旗一直超配美股,但美股跑赢大市的能力已明显中断。他预计未来几个月将有更多负面的美国经济数据出现,且这一中性看法基于三到六个月的时间框架。 与此同时,花旗认为中国股市在 DeepSeek 人工智能技术突破、政府对科技行业支持以及低廉估值等因素推动下,即使在近期反弹后仍具吸引力。今年以来,标普 500 指数下跌 4.5%,而香港上市的中国股票指数飙升 20%,成为 2025 年表现最佳指数之一。 高盛集团也在最新研报中指出,若政策落实和盈利改善逐步兑现,中国股市上行空间依然可期。高盛估计,若全球共同基金将中国股票配置比例提高 1 个百分点,市场可能会迎来 80 亿美元的净买入。