記者彭夢竺／編譯

IBM與AI新創Together AI簽署一項總額2.4億美元（約新台幣72億元）的多年期合作協議，將在IBM Cloud上打造大型AI運算叢集，並採用輝達（NVIDIA）最新Blackwell架構晶片，鎖定越來越龐大的AI推論運算需求。

根據外媒《路透社》報導，這座AI叢集主要將提供開源AI模型的推論服務。隨著企業尋求降低AI使用成本，加上對部分封閉式AI模型相關資安事件的疑慮升高，開源模型正逐漸受到企業市場關注。

AI推論需求升溫 IBM Cloud導入輝達Blackwell

AI推論是指已完成訓練的模型實際接收使用者指令、產生回答或執行任務的過程。隨著生成式AI應用快速擴張，推論已成為AI運算資源的重要需求來源之一，也促使雲端服務商與晶片業者投入數十億美元擴建AI基礎設施。

IBM與Together AI打造的新叢集將部署在美國，採用輝達HGX B300系統，結合新一代Blackwell處理器以及Spectrum-X乙太網路設備。輝達先前也強調，Blackwell晶片針對AI推論工作負載進行最佳化。

Together AI營收長Kai Mak透露，初期叢集預計配置約2,000顆輝達Blackwell 300晶片。

Together AI看好需求估啟用前2至3個月就被訂滿

Together AI對新叢集的市場需求相當樂觀。Mak預估，相關運算資源可能在正式啟用前至少2至3個月就全部售罄，並預期服務上線以前就能取得完整的客戶採購承諾。

總部位於舊金山的Together AI主要提供企業AI基礎設施服務，讓客戶能訓練及運行DeepSeek、MiniMax及Kimi等開源模型，主打相較封閉式AI系統更低的使用成本。

隨著企業AI逐漸從模型訓練走向大規模實際部署，市場對運算資源的需求也開始進一步延伸至推論階段。IBM此次攜手Together AI投入2.4億美元建置AI叢集，也反映雲端業者與AI基礎設施公司正加速搶攻快速成長的推論運算市場。Together AI今年7月最新估值已達83億美元。

資料來源：路透社

—

本篇文章授權來源：科技島