今天，OpenAI悄悄的发布了文字生成3D的模型Shap.E,并且在Github上开源的模型。

OpenAI总裁发推：

文字生成3D一直Generative AI领域的下一个明珠，就在最近Midjourney也被报道正在进行相关研究，OpenAI和各家大厂也进行过类似的研究。

text to 3d是一种将文本描述转换为三维模型的技术，近年来有很多研究机构和公司在这方面进行了探索和创新：

OpenAI公布了详细的论文，以及在Github上公布了模型。

https://github.com/openai/shap-e

根据论文的内容：

作者们提出了一种名为Shap·E的3D生成模型。Shap·E与其他3D生成模型的不同之处在于，它可以同时生成两种类型的3D表示：纹理网格（textured meshes）和神经辐射场（neural radiance fields）。这使得生成的3D模型可以通过多种方式渲染或导入其他3D应用程序。

为了实现这一目标，作者们分两个阶段训练Shap·E模型。首先，他们训练一个编码器，将3D资源确定性地映射到隐含函数的参数。其次，他们在编码器的输出上训练一个条件扩散模型。在大量成对的3D和文本数据集上训练后，Shap·E能够在短短几秒钟内生成复杂且多样化的3D资源。

与最近提出的基于点云的显式3D生成模型Point·E相比，Shap·E收敛得更快，并在相同的模型架构、数据集和条件机制下实现了可比较甚至更好的样本质量。有趣的是，Shap·E和Point·E在图像条件下的成功和失败案例相似，这表明不同的输出表示方式可能会导致类似的模型行为。然而，在直接使用文本描述进行条件化时，两者之间还是存在一些质量上的差异。

尽管Shap·E模型在文本条件下的3D生成样本质量仍不如基于优化的方法，但其推理时间比这些方法快得多，从而可能实现更优的性能权衡。作者在https://github.com/openai/shap-e上发布了模型、推理代码和样本。

作者将Shap·E与其他3D生成技术进行了比较，使用了CLIP R-Precision指标（见表2）。正如Nichol等人所做的那样，他们在这个表格中包括了采样延迟，以强调基于优化的方法在生成质量上的优越性是以显著的推理成本为代价的。

值得注意的是，Shap·E的推理速度比Point·E更快，因为Shap·E不需要额外的上采样扩散模型。

作者也提到了模型目前的缺陷包括：

首先，虽然基于文本的模型可以理解许多具有简单属性的单个物体，但它在组合概念方面的能力有限。例如，该模型在处理需要计数和属性绑定的提示时可能会遇到困难。这些问题可能是由于有限的成对训练数据所导致的，通过收集或生成更大的带注释的3D数据集可能有助于解决这些问题。

其次，尽管Shap·E通常可以生成可识别的3D资产，但生成的样本通常看起来粗糙或缺乏细节。例如，编码器有时会丢失详细的纹理（如仙人掌上的条纹），这表明改进的编码器可能有助于恢复一些丢失的生成质量。

文字生成3D的研究虽然还不如图片成熟，但是这是一个非常重要的方向因为：