2024 开年，去年大涨的科技股一片惨跌，但引领 AI 浪潮的总龙头英伟达依然势头不减。
没有哪家芯片公司不眼红英伟达的地位，随着 AI 产业的蛋糕越做越大，硬件赛道也肉眼可见得拥挤起来。大量初创公司正试图流向英伟达 GPU 的预算里分一杯羹。
媒体汇总了目前处于竞争最前线的 12 家公司。这些初创企业平均历史只有五年，融资额度最高的已有 7.2 亿美元，它们都是英伟达的有力挑战者。
Cerebras
成立时间：2015
应用领域：训练
Cerebras 以制造巨型芯片闻名。由 Gary Lauterbach 和 Andrew Feldman 联合创立。两人还曾经联合创办专注于超高密度计算机服务器业务的公司 Seammicro，在 2012 年被 AMD 以高达 3.57 亿美元的价格收购。
Cerebras 的主要产品是可用于 AI 训练的超级计算机芯片和系统，专为超级计算任务而构建，此类芯片的大小约为普通 GPU 的 56 倍。
Cerebras 的客户集中于国防、学术实验室等机构。旗舰产品 CS-2 超算系统已经部署在美国能源部阿贡国家实验室、匹兹堡超算中心、爱丁堡大学超算中心等地。
不过，虽然已经获得高达 7 亿美元的融资，但受制于英伟达 GPU 和 CUDA 生态的主导地位，Cerebras 在争取商业客户方面面临着艰巨的挑战。
1 月份，公司宣布将与美国顶尖医疗机构梅奥诊所合作，梅奥诊所将使用 Cerebras 的计算芯片和软件，以数十年的匿名医疗记录和数据为基础，开发专有 AI 模型。
据报道，一些模型将能够读写文本，比如为新病人总结病历中最重要的部分。其他模型可以分析复杂的医学图片或分析基因组数据。
Cerebras 首席执行官 Andrew Feldman 称，这是一项为期数年、价值 " 数百万美元 " 的协议。
d-Matrix
成立时间 : 2019
应用领域：推理
创办于 2019 年的 d-Matrix 正在开发一种专用芯片和软件，用于运行机器学习模型，公司的芯片可以处理和内存结合在一起，而处理和内存通常是芯片上独立和不同的组件。
d-Matrix 的芯片产生的热量更少，因此需要的冷却也更少，因此比主流的 GPU 和 CPU 芯片更具成本效益。公司 CEO 表示，许多公司都希望利用大模型设计 AI 应用，成本非常重要。
d-Matrix 选择专注于推理，即运行 AI 模型，而非训练。公司认为，随着时间的推移，模型会越来越大，运行成本也会越来越高。公司已有客户在测试其芯片和软件，并计划在 24 年上半年将投入商用。
Etched
成立时间：2023
应用领域：推理
Etched 由两位哈佛辍学生 Gavin Uberti 和 Chris Zhu 于去年 6 月创立，公司计划生产一款名为 Sohu 的 AI 推理加速芯片，推理性能为 H100 的 10 倍。公司成立不久后估值即达到 3400 万美元。
据报道，在制作工艺上，Sohu 采用将变压器架构直接刻芯片核心的革命性方法。因此性能可以达到前所未有的高度，与传统 GPU 相比，Sohu 在模拟中运行大模型的速度要快 140 倍。Sohu 还支持通过树搜索更好地编码，能够并行比较数百个响应，同时还能进行多重推测解码，可以实时生成新的内容。
Etched 的博客称，这种架构将允许以无与伦比的效率运行万亿参数模型。该系统只有一个内核，可容纳完全开源的软件堆栈，可扩展至 100T 参数模型。
Extropic
成立时间：2022
应用领域：推理 & 训练
Extropic 是这几家初创公司里最神秘的那个。公司创始人出身谷歌专注前沿技术探索的 " 登月工厂 " 部门 "X"。据介绍，Extropic 专注于量子计算，同时计划开发一款专门用于运行大模型的芯片，但目前仍未有任何关于具体产品的细节曝出。
去年年底，公司刚刚完成 1410 万美元的种子轮融资。
根据公司的新闻稿，随着生成式人工智能的兴起，世界对可扩展、高成本效益和高效计算的需求急剧增加，Extropic 希望在未来，让计算机把熵作为一种资产加以利用，通过编程自我学习，并以前所未有的效率运行：
Extropic 的计算范式建立在热力学原理之上，旨在将生成式人工智能与世界的基本物理学无缝融合。我们的目标是将生成式人工智能最终嵌入物理过程，突破物理定律在空间、时间和能量方面规定的效率极限。
Groq
成立时间：2016
应用领域：推理
Graphcore 成立于 2016 年，总部位于英国布里斯托尔。公司主要产品的智能处理单元，且聚焦于大模型推理。
公司产品最大的特点就是极快的生成速度，可以确保流畅的终端体验。在消费类 AIGC 应用中，用户对速度要求很高，而 Groq LPU 搭配开源模型 Meta Llama 2 70B 可以实现每秒生成 300 个单词，在 7 分钟内就能生成与莎士比亚的《哈姆雷特》相同数量的单词，这比普通人的打字速度快 75 倍。
Groq 联合创始人兼首席执行官 Jonathan Ross 认为，对于在产品中使用人工智能的公司来说，推理成本正在成为一个问题，因为随着使用这些产品的客户数量增加，运行模型的成本也在迅速增加。与英伟达 GPU 相比，Groq LPU 集群将为大模型推理提供更高的吞吐量、更低的延迟和更低的成本。
此外，受制于 HBM3 和 CoWoS 封装的产能，英伟达 GPU 目前的产能无法完全满足客户需求，而 Groq LPU 的独特之处在于，它不依赖于三星或海力士的 HBM，也不依赖于台积电的 CoWoS 封装技术，因此不会面临类似英伟达那样的产能瓶颈。
Lightmatter
成立时间：2017
应用领域：训练 & 推理
Lightmatter 利用激光器发出的光在芯片和服务器群之间传输数据，公司由麻省理工学院的学生利用该校的专利技术创立。
据公司联合创始人兼首席执行官 Nicholas Harris 介绍，与英伟达、AMD 和英特尔等通过线缆传输数据的芯片厂商相比，Lightmatter 的产品可以让数据中心的能耗成本降低约 80%。
MatX
成立时间：2022
应用领域：未公布
MatX 由前谷歌员工创办，首席执行官 Reiner Pope 为谷歌 Pathways 大模型的开发者之一，首席技术官 Mike Gunter 则是谷歌 TPU 的研发人员之一。
MatX 正在开发用于文本应用的 LLM 专用芯片。公司表示，与英伟达 GPU 硬件相比，其自研芯片的运行速度更快，成本更低，可支持包括图像生成在内的多种人工智能应用。
MatX 称，公司已经得到几家风险投资公司的支持，但未披露具体的资金，还称已得到 " 著名大模型开发商的大力支持 "，但也未披露具体公司。
Modular
成立时间：2022
应用领域：：推理；今年开始涉足训练
Modular 专注于打造用于训练和运行大模型的开发平台和编码语言，用户可在该平台上使用各类 AI 工具，包括谷歌开源软件 TensorFlow 和 Meta 的开源软件 PyTorch。
公司认为，AI 开发如今面临受到过于复杂和分散的技术基础设施的阻碍，Modulal 的使命是消除大规模构建和维护 AI 系统的复杂性。
构建和运行人工智能应用程序需要大量的计算能力，为控制成本，一家公司可能会使用不同类型的 AI 芯片，但这些芯片的软件往往互不兼容。尤其是，英伟达用于编写机器学习应用程序的 Cuda 软件只能在自家芯片上运行，这基本上将开发者锁定在其 GPU 上。Cuda 的用户粘性极强，有报道称，一家计算机视觉初创公司花了两年时间才得以改用非英伟达芯片。
Modular 希望通过开发一种 Cuda 替代方案来改变这种状况，解决不同芯片的软件兼容性问题，让使用非英伟达芯片变得更容易。
Rain AI
成立时间：2017
应用领域：推理 & 微调
传统 GPU 的训练和推理过程需要消耗产生高昂成本，这部分成本部分源于这些芯片在从内存和处理部件传输数据时产生的热量，因此，GPU 需要持续冷却，从而增加了数据中心的电力成本。
而 Rain AI 的 NPU 芯片可以模拟人类的生物大脑，将内存和处理功能结合在一起，不仅在计算速度和能效方面表现出色，还可以根据周围环境实时定制或微调人工智能模型。不过公司目前还没有生产出成品。
据媒体报道，一份 2019 年签订的意向书显示，OpenAI 计划斥资 5100 万美元购买 Rain AI NPU 芯片，这些芯片将被用于 GPT 模型的训练和部署。
Sima.ai
成立时间：2018
应用领域：推理
Sima.ai 专注于为边缘计算设备开发硬件和软件，应用于飞机、无人机、汽车和医疗设备等场景，而非数据中心。
公司创始人 Krishna Rangasayee 曾在芯片制造商赛灵思工作近二十年。此前，在接受媒体采访时，他表示，许多行业由于种种原因无法使用基于云的 AI 服务，Sima.ai 将专注于服务那些去中心化的边缘计算设备。
例如，自动驾驶汽车需要即时做出决策，只有内置的 AI 才能满足其对延迟的苛刻要求。而在医疗保健等行业，公司可能不希望将敏感数据发送到云端，而希望将其保存在设备中。
2023 年 6 月，Sima.ai 表示已开始量产其第一代边缘人工智能芯片。公司表示，正在与制造业、汽车和航空等领域的 50 多家客户合作。
Tenstorrent
成立时间：2016
应用领域：训练 & 推理
Tenstorrent 由三位前 AMD 员工创办，总部位于加拿大多伦多。
Tenstorrent 以异构和 Chiplet 设计的形式来开发 RISC-V 和 AI 芯片。目前已经开发出基于 12nm 工艺的 Grayskull 和 Wormhole 两款芯片，FP8 算力高达 328TFlops。公司的目标是把价格压到类似性能 GPU 的 1/5 到 1/10。
2021 年，Tenstorrent 还推出了 DevCloud，可以让 AI 开发人员无需购买硬件即可运行大模型。
不过，最近几年，也许是感受到了英伟达等硬件厂商的压力，Tenstorrent 将重心转移到了技术许可和服务领域。
Tiny Corp
成立时间：2022
应用领域：训练 & 推理
Tiny Corp 由自动驾驶初创公司 Comma AI 的创始人和前首席执行官 George Hotz 创办，其产品将以名为 tinygrad 的开源深度学习工具打造，据悉可帮助开发人员加快训练和运行大语言模型。
Hotz 认为，tinygrad 可以成为 Pytorch的 " 有力竞争者 "。但目前他还没有透露关于产品的具体细节。
