GTC 2024：黄仁勋与七位 Transformer 论文作者圆桌会谈

在今年的GTC大会上，英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者（Niki Parmar因故临时未能出席）参与圆桌论坛的讨论，这是七位作者首次在公开场合集体亮相。  他们在对话中也表达了一些令人印象深刻的观点：

1. 计算成本的降低和加速计算的兴起

在个人电脑革命的 20 年里，计算成本降低了 10000 倍，这是一个史无前例的成就。然而，计算成本的急剧下降在某个时刻停止了。为了继续推动计算能力的发展，加速计算应运而生。加速计算虽然具有挑战性，但通过加速那占据 99% 运行时间的 1% 代码，许多看似不可能的事情将变为可能。

2. 人工智能技术的突破和生成式 AI 的潜力

AlexNet 的出现标志着人工智能与 GPU 加速计算的首次结合，引发了人们对 AI 领域的广泛关注。随后，生成式 AI 的出现让人们看到了 AI 技术的巨大潜力。生成式 AI 不仅可以识别图像，还可以根据文本描述生成相应的图像，这种对数据的理解和生成能力，预示着一场新的工业革命的开始。这场革命将诞生前所未有的产品和服务，并对各行各业产生深远的影响。

3. Transformer 的诞生与自然语言处理的变革

Transformer 的发明者们分享了他们的研究动机和创新历程。最初，他们希望建立一个能够处理海量自然语言数据的高效模型。Transformer 独特的自注意力机制和并行处理能力，使其能够在各种自然语言任务上取得突破性的进展。同时，Transformer 的通用性也让研究者们意识到，它不仅适用于语言，还可以扩展到图像、音频等多个领域，这为人工智能的发展开辟了新的道路。

4. AI 创业公司的使命和愿景

随着人工智能技术的不断进步，许多 Transformer 的发明者选择离开大公司，创立了自己的 AI 公司。他们的目标是将这项变革性的技术带给更多人，让 AI 惠及各行各业。有的公司致力于创建通用的 AI 平台，有的专注于特定领域，如生物医学或金融。但他们的共同愿景是，通过人工智能来解决现实世界的问题，改善人类的生活。这些 AI 创业公司的努力，将加速人工智能技术的发展和应用。

5. 人工智能未来的发展方向

对话中，专家们对人工智能未来的发展方向进行了展望。他们认为，未来的重点将是提高模型的推理能力和常识理解。同时，高质量的数据和人机交互也至关重要。研究者们期望通过构建更高效、更通用的模型，让 AI 能够从更少的数据中学习，并具备类似人类的思考和问题解决能力。此外，将 AI 与其他领域如生物学、金融等结合，将释放出更大的潜力

(视频)