Tether 發布跨平台 BitNet LoRA 框架，支援消費性 GPU 與智慧型手機端大模型訓練與推理
19
2
深潮 TechFlow 消息，3 月 17 日，根據 Tether CEO Paolo Ardoino 揭露，Tether AI 團隊發布了新版 QVAC Fabric，整合跨平台 BitNet LoRA 框架，可在消費級 GPU 及智慧型手機上實現十億參數級大模型的訓練與推理。
新版 QVAC Fabric LLM 首次實現了 BitNet LoRA 微調與推理在 AMD、Intel、Apple Metal 及行動裝置 GPU 上的跨平台運作。 在旗艦設備上，GPU 推理速度較 CPU 提升 2 至 11 倍，記憶體佔用量較全精度模型減少最高 90%。 Tether 團隊已在 Pixel 9、S25 和 iPhone 16 等旗艦手機上完成最高 38 億參數模型的微調，並在 iPhone 16 上實現最高 130 億參數模型的微調。 相關程式碼已開源至 GitHub。
來源:
