游客发表

LMSYS 成立 SGLang 聯盟,輝達、AMD、Google、Meta 等八家業者共推開源 AI 推論_apple id商店 美区App Store账号分享 iOS应用下载

发帖时间:2026-11-21 23:43:12

非營利組織 LMSYS Org 12 日在舊金山首屆 SGLang Summit 開幕主題演講,立Sg聯宣布成立「SGLang 聯盟」(SGLang Consortium)。盟輝創始成員有輝達、共推AMD、開源英特爾、推論Google、立Sg聯apple id商店 美区App Store账号分享 iOS应用下载Meta、盟輝Cloudflare、共推Modal 與 RadixArk,開源共八家業者,推論一起參與開源 AI 推論引擎 SGLang 發展藍圖。立Sg聯

SGLang目前已在數十萬顆GPU運行。盟輝Meta、共推微軟、開源Google、推論apple id国区美区账号怎么切换使用及登录常见问题解决方法亞馬遜、Thinking Machines Lab、Cloudflare、Reflection與Modal等業者,都用它支撐正式環境的推論服務。支援的硬體包括輝達與AMD GPU、英特爾Xeon處理器及Google TPU。

依照聯盟的運作方式,每家創始成員各指派一名技術代表,每年參加兩次藍圖會議。會議之間可成立工作小組協作,並公開發表方向與進度。成員可用工程專業、部署回饋、測試資源或共同開發等方式貢獻。重點領域包括尖端模型支援、推理與多模態工作負載、分散式推論及硬體最佳化。不過,技術決策與程式碼採納仍由SGLang維護者負責,專案也持續開放給整個社群。

SGLang原始論文共同作者、RadixArk共同創辦人暨執行長Ying Sheng代表團隊表示,大規模運行SGLang的團隊,最能率先看見推論下一步的需求。輝達超大規模與高效能運算副總裁Ian Buck指出,更好的軟體能協助開發者從輝達運算資源取得更多效能。AMD人工智慧應用企業副總裁Ramine Roane則表示,開源讓開發者能進一步推進AI推論。

LMSYS Org引述Deloitte預測指出,推論的AI運算占比,預料將從2025年約一半提高至2026年約三分之二。推論需求攀升,軟體層效率改善已成為晶片商與雲端業者爭取效能的關鍵。

不過,這次公告沒有提出具體時程、功能優先順序或效能數據。聯盟能否把成員的需求轉化為實際採納的程式,仍有待觀察;使用者也需要針對自己的模型與硬體驗證效益。首屆SGLang Summit 12~13日舉行,超過百位講者參與,議程涵蓋強化學習、多模態模型與硬體平台等主題。

(首圖來源:LMSYS Org)

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元
《關於請喝咖啡的 Q & A》

相关内容

随机阅读

热门排行

友情链接