法國AI初創Kog押注軟體提速GPU推理

AI 推理提速競爭正在升溫。 法國新創公司 Kog 並沒有選擇自研晶片，而是押注透過底層軟體優化，進一步釋放企業現有資料中心 GPU 的推理能力。

這家公司在今年 5 月因一項技術預覽而受到關注。 Kog 當時展示，使用 AMD MI300X 和 Nvidia H200 等標準資料中心 GPU，也能達到極快的單一請求解碼速度。 該公司隨後稱，這項展示帶來了約 200 個明確的商業線索。

Kog 目前優先關注對響應速度要求較高的專業工作流程，尤其是軟體工程場景。 根據公司說法，一些重度程式碼產生使用者等待結果的時間可能長達數小時，推理延遲已成為影響使用體驗和成本的重要問題。

公司也正在與部分設計合作夥伴推進應用落地。 這類客戶允許使用者透過提示詞產生遊戲或應用，若推理速度提升，通常意味著更高的轉換效率和收入空間。

Kog 先前提出「讓大模型推理提速 30 倍」的目標，但目前公開演示仍主要基於小模型。 其展示使用的是約 20 億參數的 Laneformer 2B，單請求推理速度達到每秒 3000 個 token。 該模型現已開源。

不過，市場需求並未停留在小模型微調。 Kog 表示，潛在客戶不準備把重點放在小模型上，因此公司自發布演示後，已將主要精力轉向更大模型的加速開發，以匹配實際需求。

Kog 認為，GPU 在推理解碼上的潛力仍未被完全釋放。 該公司執行長 Gaël Delalleau 表示，隨著新一代 GPU 記憶體頻寬持續提升，軟體層仍有較大優化空間。

這種方法的代價是研發週期較長。 Kog 表示，每適配一款新 GPU，團隊往往需要投入數週甚至數月做硬體層面的研究。 以目前 11 人團隊規模來看，公司短期內可支援的晶片數量仍然有限。

Kog 計畫未來將這套方法逐步連接到以智慧體為基礎的研發流程，以支援更多晶片和模型。 眼下較關鍵的節點，是先證明這條路線能在大模型上成立。 Delalleau 預計，該公司將在 9 月前後完成首個主要模型約 10 倍提速的實現，並據此展示客戶進展，推動後續 A 輪融資。