骨軟筋酥網AI對話模型已經可以在手機上本地運行？考驗手機內存的時候到了… – 藍點網
早前藍點網介紹了 MLC 團隊推出的對話 WebLLM (MLC LLM)，這個 AI 對話模型沒有服務器支持，模型在網頁上調用 WebGPU API 即使用你的已經運行本機 GPU 提供算力支持，一切數據都是可手考驗離線的無需擔心你的對話內容泄露。
現在該團隊將 MLC LLM 移植到了手機上，機上還開發了 iOS Demo 應用，本地也就是手機說你可以在手機上運行大型語言模型，完全離線運行，內存不論是藍點模型還是數據都在本地。
好消息是測試顯示在 iPhone 14 Pro Max 上是可以正常運行的，速度略微有些慢但還是模型能接受的地步，壞消息是已經運行如果手機內存比較小的話會崩潰，因為模型運行的可手考驗時候，模型數據會被塞到內存里，機上這會讓手機內存瞬間被塞滿。本地
在 iPhone 12 Pro 上測試就有些壓力了，基本上說內存起步需要 6GB，這么來看安卓機可能更有優勢，畢竟現在新的安卓機內存都非常大。
除了 iOS 版外，MLC 團隊還推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在終端里發起詢問并獲得答案，相對來說在 PC 上使用壓力就小一些了，畢竟內存稍微大點。
等等… 我是不是還沒提 GPU 問題？是的，內存并非關鍵，因為無論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速，手機上還好，在 PC 上用戶可能需要更新驅動程序，例如 Vulkan 驅動程序。
有興趣的用戶可以試試這個 AI 模型，藍點網測試感覺還可以，中文支持也挺不錯的。iOS Demo 程序的話目前在 TF，限額 9000 人，滿了就沒法加入了。有 iOS 開發經驗的開發者可以自行編譯安裝。
iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa
WebLLM (網頁版)：https://mlc.ai/web-llm/
Windows/Linux/Mac 需要使用 Conda 管理，具體請看：https://mlc.ai/mlc-llm/
