网络安全和数据安全:资讯、技术、法规、趋势。

忘记密码
“游侠安全网”创建了网络安全从业者QQ大群(群号:389710688) ,欢迎各位同仁加入!有其它问题,请联系站长“网路游侠”,QQ:55984512


大模型本地部署工具 —— LM Studio

2024-03-17 16:42 推荐: 浏览: 109 字号:

摘要: 如今,大语言模型已经成为AI领域的热门话题。但是要实现本地部署运行这些庞大的模型,往往需要极高的技术门槛,让普通用户望而生畏。正如上篇医疗模型所说,今天我要给大家介绍一个神器——LM Studio:LM Studio – Discover, download,...

如今,大语言模型已经成为AI领域的热门话题。但是要实现本地部署运行这些庞大的模型,往往需要极高的技术门槛,让普通用户望而生畏。正如上篇医疗模型所说,今天我要给大家介绍一个神器——LM Studio:LM Studio – Discover, download, and run local LLMs,它能够帮助我们一键本地运行各种大语言模型,不需要任何编程基础。

LM Studio 支持的模型有哪些呢?我们只需要打开它的界面,就可以看到列举出的众多可选模型。这些都是托管在 HuggingFace 网站上热门的开源语言模型。比如这里我们看到了最近大热的 Mistral 7B 模型,还有 px、Blender Bot、GPT-Neo等等。如果你想寻找特定的模型,也可以直接在搜索框内输入名称查找。

接下来的流程就很简单直观了。我们选择喜欢的模型,点击下载,等待几分钟后就下载完成。然后通过 LM Studio 的对话界面,选择我们的本地模型进行加载。稍等片刻,一个全新的对话窗口就会弹出。到此我们便可以无缝开始与强大的 AI 对话了,十分容易上手。

最让我惊艳的是,LM Studio 还内置了 API 转换功能。也就是说,它可以把本地模型快速封装成与 OpenAI 接口兼容的 API形式。这样一来,我们就可以直接把各种基于 OpenAI 开发的应用程序指向本地模型,实现同等功能,而且完全免费。这对开发者来说,无疑是一个福音。

总的来说,LM Studio 为普通用户搭建语言模型极大地降低了门槛。让我们不需要复杂的环境配置,就可以在本地与各种高水平的AI模型进行交互。它的易用性和兼容性都值得称道。希望大家也可以通过它,感受 AI 的无限可能。

转自:https://zhuanlan.zhihu.com/p/673181131

联系站长租广告位!

中国首席信息安全官
Copy link