在与OpenAI首席执行官Sam Altman和一群开发人员的独家聚会上，讨论围绕着OpenAI的API、产品策略以及人工智能（AI）对社会的影响展开。Altman提供了有价值的洞察力，下面总结了对话中的关键要点。
1、GPU限制影响OpenAI的进展
讨论中一个主要主题是OpenAI目前对GPU的依赖，导致其短期计划受阻。客户对API的可靠性和速度表示担忧。Altman承认了这个问题，并将其中很大一部分归因于GPU短缺。
推出更长的32k上下文以及超越O(n^2)的注意力扩展面临挑战，需要通过研究突破来适应100k到1M标记的上下文窗口。像Adapters或LoRa这样的高效微调方法尚未实施，使得计算过程变得密集。Altman向开发者保证，更好地支持微调和为社区贡献模型的潜在市场正在规划中。
由于GPU供应不足，专用容量服务也受到限制，客户需要提前支付10万美元才能使用该服务。
2、OpenAI的近期计划
Altman分享了OpenAI API的临时近期计划，概述了以下目标：
2023年：
- 更便宜和更快的GPT-4：公司的首要任务是降低智能成本，旨在使API更加实惠。
- 更长的上下文窗口：在不久的将来，上下文窗口可以扩展到100万个标记的范围内。
- 微调API：微调API将被扩展以适应最新的模型，具体细节将根据开发者的反馈进行调整。
- 有状态的API：Altman透露了一个版本的API，该版本可以记住对话历史，消除了重复标记付费的需要。
2024年：
- 多模态：通过发布GPT-4来展示，多模态将在额外的GPU可用后对开发者开放。
3、插件不太可能很快包含在API中
尽管开发者对通过API访问ChatGPT插件表示了兴趣，但Altman表示它们的发布并非即将发生。除了浏览之外，插件在产品市场上缺乏合适性被认为是延迟的原因。Altman强调，许多开发者实际上希望将ChatGPT集成到他们的应用程序中，而不是相反。
4、OpenAI避免与客户竞争的承诺
一些开发者对OpenAI自家产品的潜在竞争表达了担忧。Altman向他们保证，OpenAI不会发布超出ChatGPT之外的产品，强调公司优先考虑客户利益的承诺。通过在内部使用ChatGPT，OpenAI旨在根据自己的产品经验来改进其API。虽然ChatGPT被设计为高智能的工作助手，但OpenAI打算避免侵犯其他GPT用例。
5、平衡监管和开源
Altman主张对未来的AI模型进行监管。然而，他明确表示现有模型本质上并不危险，并警告不要过早进行监管或禁令。他强调了开源的重要性，并透露OpenAI正在考虑将GPT-3开源。Altman提到了关于为托管和提供大型语言模型（LLM）所需的基础设施和能力的可用性的担忧，这是影响他们决策的因素之一。
6、规模定律仍然适用
与最近声称巨型AI模型衰退的说法相反，Altman澄清了模型性能的规模定律仍然成立。OpenAI的内部数据证实了更大的模型能够获得更好的性能。然而，过去几年所取得的快速扩展可能无法持续下去。Altman指出，未来的模型规模可能每年翻倍或增长两三倍，而不是指数增长。
规模定律的持续适用对于人工通用智能（AGI）的发展时间表具有重大影响。规模假设认为实现AGI所需的大部分要素已经存在，未来的进展主要涉及将现有方法扩展到更大的模型和数据集。规模定律的持续适用暗示着AGI发展的时间表较为短暂。
所有评论