5 月 13 日消息，蘋果機器學習團隊在 GitHub 發(fā)布并開源了一款視覺語言模型 ——FastVLM，提供 0.5B、1.5B、7B 三個版本。

　　據介紹，該模型基于蘋果自研 MLX 框架開發(fā)并借助LLaVA 代碼庫進行訓練，專為 Apple Silicon 設備的端側 AI 運算進行優(yōu)化。

　　技術文檔顯示，F(xiàn)astVLM 在保持精度的前提下，實現(xiàn)了高分辨率圖像處理的近實時響應，同時所需的計算量比同類模型要少得多。

　　其核心是一個名為 FastViTHD 的混合視覺編碼器。蘋果團隊表示，該編碼器“專為在高分辨率圖像上實現(xiàn)高效的 VLM 性能而設計”，其處理速度較同類模型提升 3.2 倍，體積卻僅有 3.6 分之一。

　　亮點

• 　　FastViTHD 新型混合視覺編碼器：專為高分辨率圖像優(yōu)化設計，可減少令牌輸出量并顯著縮短編碼時間

• 　　最小模型版本性能對比：較 LLaVA-OneVision-0.5B 模型實現(xiàn)首詞元（Token）響應速度提升 85 倍，視覺編碼器體積縮小 3.4 倍

• 　　搭配 Qwen2-7B 大語言模型版本：使用單一圖像編碼器即超越 Cambrian-1-8B 等近期研究成果，首詞元響應速度提升 7.9 倍

• 　　配套 iOS 演示應用：實機展示移動端模型性能表現(xiàn)

　　蘋果技術團隊指出：“基于對圖像分辨率、視覺延遲、詞元數(shù)量與LLM 大小的綜合效率分析，我們開發(fā)出 FastVLM—— 該模型在延遲、模型大小和準確性之間實現(xiàn)了最優(yōu)權衡?！?/p>

　　該技術的應用場景指向蘋果正在研發(fā)的智能眼鏡類穿戴設備。多方信息顯示，蘋果計劃于 2027 年推出對標 Meta Ray-Bans 的 AI 眼鏡，同期或將發(fā)布搭載攝像頭的 AirPods 設備。

　　FastVLM 的本地化處理能力可有效支持此類設備脫離云端實現(xiàn)實時視覺交互。IT之家查詢獲悉，MLX 框架允許開發(fā)者在 Apple 設備本地訓練和運行模型，同時兼容主流 AI 開發(fā)語言。FastVLM 的推出證實蘋果正構建完整的端側 AI 技術生態(tài)。