头条
前 AMD 高管谈芯片竞争与趋势。
撰文：有新
David Bennett 曾是 AMD 以及联想的高管，当前担任 Tenstorrent 的 COO（首席客户官），在最新的外媒采访中，Bennett 认为，未来的芯片将结合 GPU 和 CPU，以更快地准备和加载数据，从而加速模型训练的过程，这一点我们从 3 年前的苹果 M 系列发布就能看出。
谈到苹果，6 月份也曾分享过硅仙人 Jim Keller 作为 Tenstorrent CEO 发表的关于 AI 芯片与市场竞争洞察，Keller 是一位硬件传奇人物，曾开发 Apple 的 A4 和 A5 处理器，并在 2016～2018 年参与了 Tesla 的自动驾驶硬件工作。
目前，Tenstorrent 已经从投资者那里筹集了超过 3 亿美元，包括 Fidelity Ventures 和 Hyundai Motor Group，目前正按照 Bennett 的建议进行运作，提供的服务覆盖自家的芯片以及云服务。
Bennett 认为大多数初创公司都将会走向破产，为了生存，这些初创公司保持灵活性，避免将自己局限于狭窄的用例，包括像 Tenstorrent 这样的几十家 AI 初创公司群体，这些公司从投资人那里拿了数十亿美元，并以此来挑战英伟达。
Bennett 表示，今天的芯片初创公司需要在制造专为 AI 设计的硬件和过分依赖当今流行的模型之间走一条细线，最初 GPU 是为计算机图形而设计的，而 GPU 执行多个计算的能力恰好使其适用于 AI 应用，但这个意外的好运也为英伟达带来了困境 —— 如果不危及英伟达现有 GPU 业务，就很难从头开始创建芯片，这给了新兴初创企业建造专为 AI 设计的新硬件的机会。
Bennett 表示 Tenstorrent 的工程师为「稀疏」神经网络的未来设计了 Grayskull 芯片，这些神经网络剔除了多余的信息，他认为专注于为 LLM 建造芯片的初创公司正在过分依赖支持 LLM Transformer 架构。
从内部来看，基于 Transformer 的模型本质上是预测最有可能的下一个单词，因此它们被批评是基于概率而非实际推理生成回应的。
一方面，Bennett 表示 LLM 寿命相对较短，昨天还很火的模型，一两周后就消失了；另一方面，专为推理制造芯片的硬件公司，如 d-Matrix，这家公司正计划在明年上半年发布专为推理设计的芯片。
乍一看，这不失为一个好主意，但 Bennett 发现越来越多使用生成式 AI 软件的用户更愿意利用现有的专有或开源模型，而不是从头开始构建自己的模型。
因此，许多人认为，公司将花费更多的资金来运行这些模型（推理），而不是创建它们（训练）。Bennett 认为从商业的角度看这没问题，但过分专注于推理阻止了硬件开发商服务于可能变得更受欢迎的其他用例。
例如，仅用于推理的芯片通常是为运行模型所需的低精度计算而构建的，但是，如果厂商希望调整他们的模型，这可能需要能够处理更高精度计算的芯片。
要在即将到来的 AI 芯片竞争中生存，Bennett 认为芯片开发商将需要改变他们构建芯片的方式，今天大多数芯片将 GPU 与 CPU 分开，但越来越多的尖端芯片，比如英伟达的 Grace Hopper Superchip 和 AMD 即将推出的 MI300A 芯片，都将 GPU 和 CPU 放在一起，这样的布局使 CPU 能够更快地准备和加载数据到 GPU，从而加速模型训练的过程。
Tenstorrent 当前提供了自家的机器学习软件，名为「Buda」，以此来对抗英伟达在 CUDA 软件上的优势。
