果粉迷 6 月 5 日消息，目前绝大多数聊天机器人都需要通过云端处理消息并进行回复，而 IT 之家此前报道过一个名为 MLC LLM 的开源项目。可以在本地编译运行语言模型。近日 CMU 助理陈天其教授表示，独立的 MLC Chat App 目前已经上架苹果 App Store。感兴趣的小伙伴们可以下载进行尝试。
▲ 图源陈天其
据 MLC LLM 项目介绍称：“MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上，此外还有一个高效的框架，供每个人进一步优化自己用例的模型性能。一切都在本地运行，无需服务器支持，并通过手机和笔记本电脑上的本地 GPU 加速”。
▲ 图源 苹果 App Store
果粉迷查询 GitHub 页面发现，这个项目的开发者来自卡内基梅隆大学的 Catalyst 计划、SAMPL 机器学习研究小组以及华盛顿大学、上海交通大学和 OctoML 等。他们还有一个名为 Web LLM 的相关项目，该项目可以完全在网络浏览器中运行 AI 聊天机器人。
▲ 图源 MLC Chat App
