网络安全和数据安全:资讯、技术、法规、趋势。

忘记密码
“游侠安全网”创建了网络安全从业者QQ大群(群号:389710688) ,欢迎各位同仁加入!有其它问题,请联系站长“网路游侠”,QQ:55984512


快速在笔记本电脑中通过Ollama部署中文大模型

2024-03-14 09:38 推荐: 浏览: 194 字号:

摘要: 有两个前置条件,在这里游侠不赘述,因为无论是在Windows电脑,还是在macOS电脑,安装这两个软件都几乎是“NEXT”一路点下去就可以了,下载地址游侠说一下: Ollama,一个简明易用的本地大模型运行框架,目标是帮助开发者在本地运行、创建和共享大型语言...

有两个前置条件,在这里游侠不赘述,因为无论是在Windows电脑,还是在macOS电脑,安装这两个软件都几乎是“NEXT”一路点下去就可以了,下载地址游侠说一下:

  • Ollama,一个简明易用的本地大模型运行框架,目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 还提供了一个模型库,开发者可以在这里下载和使用各种开源模型。Ollama 还提供了一种名为 Modelfile 的文件格式,开发者可以使用它来定义和创建自定义模型。Ollama支持Windows、macOS和Linux,下载地址在这里  https://ollama.com/download
  • Docker:Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行操作系统的机器上,也可以实现虚拟化。在本文中的主要作用是给Ollama中的模型一个可视化的UI,就是你对话的窗口!也是同时支持Windows、macOS和Linux。在这里下载 https://www.docker.com/products/docker-desktop/

嗯,上面两个部署完成后……运行……然后你可以在 https://ollama.com/library 这里看到Ollama支持的模型,如gemma、llama2、mistral、mixtral、llava等,可以通过命令直接下载模型,如常见的几个中文模型的命令是:

  • ollama run llama2-chinese:7b
  • ollama run yi
  • ollama run qwen:7b

到这里,你已经把所有的工作完成了,但是,你需要一个UI来对话,对吧?这就是上面安装Docker的意义。下面我们在Docker中部署 open WebUI,输入下面的命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

嗯,不出什么意外的话(出意外我也搞不定),你可以在Docker中发现open-webui已经部署完毕,直接在浏览器中输入 http://localhost:3000/ 就可以体验本地大模型的魅力了!(首次打开需要注册一个账号)

作者:张百川(网路游侠)网站:https://www.youxia.org 转载请注明来源!谢谢合作

联系站长租广告位!

中国首席信息安全官
Copy link