更快、更便宜!Sam Altman最新访谈透露OpenAI下一步计划,目前GPU短缺是最大瓶颈
zhonghua @ 2023年06月02日 财经风云
更快、更便宜!Sam Altman最新访谈透露OpenAI下一步计划,目前GPU短缺是最大瓶颈 葛佳明 Sam Altman指出,目前OpenAI的客户最不满的便是API的可靠性和速度,在让GPT-4更便宜且更快的过程中,遇到的最大瓶颈便是GPU短缺。 GPU、GPU还是GPU,AI掀起的"算力革命"不仅让几乎垄断GPU市场的英伟达成了聚光灯下的焦点,也让OpenAI CEO在一次又一次的访谈中大谈GPU短缺问题。 5月29日,Humanloop,一家从事机器学习和人工智能的初创公司,其CEO Raza Habib邀请了包括OpenAI CEO Sam Altman在内的20位开发人员共通探讨人工智能的未来,而整个讨论中最重要的主题便是——GPU短缺是最大瓶颈。 Altman表示,目前OpenAI的客户最不满的便是API的可靠性和速度,而这个问题主要就是GPU短缺造成的。 OpenAI严重依赖GPU Altman表示,他们的下一步计划就是不断更新GPT-4,让其更便宜,更快,而在发展过程中遇到的最大瓶颈便是GPU短缺,访谈中指出: 长度为32k的上下文窗口还未到推广时机,OpenAI还未能克服技术上的障碍,主要是因为算法的高复杂性。虽然很快就会有10万—100万新的32K上下文窗口token,但提供更多的访问token则需要技术和研究上突破。 微调(Fine-Tuning)API目前也受到GPU可用性的限制。他们还没有使用像Adapters或LoRa这样的高效微调方法,所以微调运行和管理需要高精度的计算。将来会有更好的微调支持。他们甚至可能主持一个社区贡献模型的市场。 OpenAI提供的专用容量服务受到GPU的限制。当用户请求使用专用容量时,OpenAI需要确保有足够的GPU可供分配给用户。然而,由于GPU资源有限,供应有限。要使用这项服务,客户必须愿意预付10万美元的费用。 对于OpenAI未来的发展,Altman表示,在2023年OpenAI的目标是尽可能降低"智能的成本",继续降低API的成本: 更便宜、更快的GPT-4 —— 首要任务。 更长的上下文窗口 —— 在不久的将来,高达一百万的上下文窗口token。 微调(Fine-Tuning)API —— 微调API将扩展到最新的模型,但确切形式将由开发者表明他们真正想要的东西后来塑造。 支持会话状态的API —— 现在当你调用聊天API时,你必须反复重复历史对话,并反复支付同样的tokens。在未来,API将有一个记住对话历史的版本。 到2024年,GPT-4的多模态——当前的多模态已作为GPT-4的一部分公布,但在GPU算力瓶颈突破后才能扩展到所有人。 在5月16日举行的AI国会听证会上,Altman就已经表达了对算力瓶颈的担忧:由于计算能力瓶颈,如果使用ChatGPT的人少一些会更好。 除了对未来算力瓶颈的担忧外,对于ChatGPT的未来,Altman还表示,尽管许多开发者都表达了在API中融入ChatGPT插件的兴趣,但可能不会很快发布: 插件目前没有达到产品市场契合度(PMF),并且不会很快在API中出现。除了浏览之外,插件的使用情况表明他们还没有和市场达到最佳的契合点。 很多人认为他们希望他们的应用程序在ChatGPT中,但他们真正想要的是在他们的应用程序中可以使用ChatGPT。 Altman称,OpenAI将避免与他们的客户竞争,他们的目标是将ChatGPT打造成一个超级智能的工作助手: 很多的开发者说,他们在使用OpenAI的API构建产品时,担心OpenAI最终会发布他们的竞品。但OpenAI未来不会发布超过ChatGPT的更多产品。 历史上看,每一个伟大的平台公司都有一个"杀手级"应用,ChatGPT的作用是协助客户让他们的产品变得更好。ChatGPT的愿景是成为一个超级智能的工作助手,但也会有很多OpenAI不会触及的其他GPT使用案例。 对于未来的监管,Altman呼吁加强对未来的模型进行监管,但他并不认为现有的大模型存在危险。现在对它们(大语言模型)进行监管或禁止他们的发展是一个大错误。 Altman也重申了开源的重要性,并说OpenAI正在考虑开源GPT-3。 Altman表示,"巨型模型时代"已经结束,这样的表述并不准确: OpenAI的内部数据表明,模型性能的比例定律仍然存在:当模型大小呈指数增长时,相应的模型性能呈线性增长。 但因为OpenAI在短短几年内已经将模型扩大了数百万倍,未来这样做将不可持续。 这并不意味着OpenAI未来不会继续尝试将模型规模扩大,只是意味着它们可能每年只会增加一倍或两倍,而不是增加许多个数量级。 缩放定律继续有效的事实对AGI开发的时间线有重要的影响。缩放假设是我们可能已经有了构建AGI所需的大部分部件,剩下的大部分工作将是将现有的方法扩展到更大的模型和更大的数据集。如果巨型模型时代结束,那么我们可能应该预期AGI会更远。缩放法则继续有效暗示了更短的时间线。 风险提示及免责条款 市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
|
推荐内容
- “自爆”阻止美联储?美国政府下周“势将”关门..
- 电影里都没有的剧情,港股上演了
- 币圈转型AI云,矿商成了英伟达新金主..
- CFTC持仓:0919当周增加黄金、原油净多头头寸,增..
- 刷屏!iPhone15破发,苹果暴跌17000亿!美国芯片..
- “资产负债表衰退”理论提出者辜朝明:在产生过高..
- “核酸大王”张核子进军预制菜,核子基因又踏上风..
- 全球央行货币政策的微妙分歧,G10和新兴市场的对..
- 9月25日-9月29日当周重点数据和大事件前瞻..
- 摩根大通高呼“超级周期回归”!预言“150美元油..
- 下周重磅日程:中国PMI、美联储最爱通胀指标、美..
- 夏天已过、美股风向变了:AI歇了,能源股上位了..
- 本周央行“锁短放长”,累计净投放超5500亿,下周..
- 微软Copilot终于来了,本轮AI浪潮的“生死时刻”..
- 美股三大股指均收跌逾1% 大型科技股普跌..
热点阅读
- 楼市王炸!雄安、广州,打头炮!
- 恒指五连跌,AI、半导体走弱,电力强势领涨,金风..
- 俄方:基辅无人机袭击克宫是对普京的恐怖袭击和暗..
- “中国镍王”们在印尼的真实发家史..
- 券结模式持续优化 规模突破6000亿元 公募基金证券..
- 如果美国汽车工人大罢工赢了,“四天工作制”将成..
- 金帝股份IPO首日“做空自己”?证监会:未发现相..
- 从中东到阿塞拜疆,现货溢价全线飙升!油价破百只..
- 告急!"黑天鹅"来袭,美股即将暴跌?&..
- 空头头寸骤降!美联储会议前,对冲基金转向看涨美..
- 鲍威尔:美联储已接近利率目标,今年或再加息,“..
- 大宗商品的牛市
- 日本央行刚刚重挫日元,美联储又有了新底气..
- 大宗商品阶段性行情能持续多久?
- 多家外资机构主动发声看好中国股市..