蘋果發佈可直接在裝置運行的開源 LLM AI 模型 OpenELM | 【雷神手機修理】台中iPhone維修！蘋果手機、換電池、螢幕、價格、推薦

相關問題

蘋果發佈可直接在裝置運行的開源 LLM AI 模型 OpenELM

蘋果發佈了幾款設計於裝置上運行的開源大型語言模型，而不是透過雲端服務。這些模型統稱為 OpenELM，並已在Hugging Face Hub 上提供，該平台是一個共享人工智能代碼的社區。

蘋果 (AAPL-US)

蘋果在開源 AI 平台 Hugging Face 上發布一個具有開源訓練和推理框架的高效語言模型，名為 OpenELM。

據了解，OpenELM 有四種尺寸：2.7 億、4.5 億、11 億和 30 億個參數版本，定位於超小規模模型，而微軟 Phi-3 模型為 38 億。這種小模型運行成本更低，可在手機和筆記型電腦等設備上運行。同時，在 WWDC24 開發者大會之前，蘋果徹底開源了 OpenELM 模型權重和推理程式碼，資料集和訓練日誌等。而且，蘋果還開源了神經網路庫 CoreNet。

OpenELM 支援 iPhone 或 Mac 電腦

蘋果在 OpenELM 公開說明中提到「將模型轉換為 MLX 資料庫的程式碼，以便在蘋果設備上進行推理和微調」，其中 MLX 是去年釋出能在蘋果晶片上運行機器學習的框架，能夠在非連網路狀態下，直接透過蘋果設備本機執行。

蘋果一直都是封閉系統領導者，如今罕見公開 AI 大模型，外界認為這有可能就類似 Google 操作方式，先透過開源拉攏開發人員，再利用封閉產品進行商業化。

OpenELM 有哪些亮點?

據蘋果官方所述，OpenELM 是一種最先進的開放語言模型。OpenELM 使用分層縮放(layer-wise scaling)策略來有效地分配變壓器模型每一層內的參數，從而提高準確性。例如，在參數預算約為 10 億個參數的情況下，OpenELM 與 OLMo 相比，精度提高了 2.36%，同時所需的預訓練令牌減少了 2 倍。

此外，「與先前僅提供模型權重和推理程式碼以及在私人資料集上進行預訓練的做法不同，我們的版本包括在公開資料集上訓練和評估語言模型的完整框架，包括訓練日誌、多個檢查點和預訓練。我們還發布了將模型轉換為 MLX 庫的程式碼，以便在 Apple 裝置上進行推理和微調。這一全面的發布旨在增強和加強開放研究社區的力量，為未來的開放研究努力鋪平道路。」