科技

輝達發布Nemotron新模型 搶攻企業AI代理與個人電腦市場

記者許若茵/編譯

輝達推出全新的開放權重模型Nemotron 3.5 Super VL,專為全天候運作的AI代理程式及邊緣運算設計。

輝達推出全新的開放權重模型Nemotron 3.5 Super VL。(圖/截自輝達)
輝達推出全新的開放權重模型Nemotron 3.5 Super VL。(圖/截自輝達)

Nemotron 3.5 Super VL是一款擁有1200億參數的大型模型,主要面向企業使用的AI代理程式,儘管參數量低於Nemotron 3 Ultra模型,輝達表示,Super VL在指令遵循及工具使用任務上,仍能達到相近的準確度。

在另一端,輝達也推出兩款輕量級Bolt模型,目標是在搭載輝達RTX Spark晶片的新款AI個人電腦,以及運行DGX Spark的工作站上進行本機運算,這類個人電腦主要面向一般消費者、程式設計師及企業知識工作者,目前正透過Microsoft和Dell等合作夥伴陸續上市。

輝達開放模型與軟體部門副總裁Kari Briski指出,「任何希望在輝達基礎設施上運行AI代理程式的組織,如今都能為自身需求找到開放且經過最佳化的模型,不必再於功能與部署能力之間做出取捨。」

輝達宣稱,針對特定代理任務進行後訓練後,Super VL的任務完成速度比Anthropic和OpenAI的競爭模型更快,涉及的模型包括Opus 5、GPT 6.1 Sol、Luna及Astra,這些任務涵蓋文件智慧分析、財務會計、科學實驗、醫療保險理賠及資安攻擊韌性。

大型科技公司發布新模型時,提出類似的效能主張並不罕見。不過,輝達也列出多家大型企業,表示這些公司正在使用Super VL,包括Skydance、EY、Ramp、CrowdStrike、Perplexity及Salesforce。

這並非輝達首次推出能與專有前沿AI模型競爭的開放權重模型。這些專有模型背後的AI實驗室,同時也是輝達的客戶及投資對象。這家GPU巨頭已建立完整的Nemotron模型系列,涵蓋多模態人工智慧、推理、程式設計、數學及企業自動化等領域。

快速成長的專有AI實驗室如今也開始尋找輝達以外的晶片及AI系統供應商,以滿足運算需求,包括亞馬遜網路服務(AWS)的Trainium及Cerebras,也有業者自行開發晶片。因此,輝達正積極押注企業希望在自有資料中心運行開放模型的趨勢。

Briski提及,「與封閉式前沿模型不同,組織可以使用自己的資料對Super VL進行後訓練,將模型部署在自己的基礎設施上,並擁有自己建構的成果。」不過,透過推出適用於個人電腦的較小型本機模型,輝達也試圖推動仍在發展初期的消費型AI助理市場。

儘管新創公司及大型科技企業幾乎每天都推出新的AI助理,但對隱私抱持疑慮的消費者,可能不願讓這些代理程式深入自己的生活,並取得有關家人、健康、財務等資訊。

輝達希望透過推出搭載自家晶片、能在本機運行模型及代理程式的個人電腦,為自身開創新的市場。Briski寫道,使用者可以「將日常工作交給代理程式處理,而不必將這些工作負載傳送至雲端」。

兩款Bolt模型中,Nemotron 3.5 Bolt 74B-A9B 24GB是一款擁有740億參數的模型,專為本機代理任務設計,旨在兼顧速度與推理能力,以處理多步驟推理、工具呼叫及網頁瀏覽等工作。最小型的Bolt E4B則主要面向對話式代理程式。輝達表示,Super VL及Bolt 74B-A9B目前已經推出,Bolt E4B則預計於本月稍晚發布。

資料來源:techcrunch

Loading

—

本篇文章授權來源:科技島

Author

Write A Comment