在终端使用DOCKER部署ollama

linux使用docker部署ollama

什么是ollama，可以看作管理AI模型的一个命令行工具

ollama -h  可以查看帮助，可以进行删减，下载启动等操作

这里主要使用DOCKER部署ollama，这样即可兼容windows 苹果 Linux 系统

这里我主要介绍在Linux 系统下部署

1. 首先是安装 docker  和 docker-compose

sudo apt install docker.io
sudo apt-get install docker-compose
sudo usermod -aG docker $USER
sudo systemctl daemon-reload
sudo systemctl restart docker

2. 配置国内 docker 镜像源 

修改/etc/docker/daemon.json，增加或者修改以下配置：
sudo su
vim /etc/docker/daemon.json
 
{
  "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com",
    "https://docker.m.daocloud.io", 
    "https://ghcr.io",
    "https://mirror.baidubce.com",
    "https://docker.nju.edu.cn"
  ]
}

3. 配置好以后重启docker

sudo systemctl daemon-reload
sudo systemctl restart docker

4. 这里主要是体验为主，所以主要介绍 CPU模式

4.1 下载 https://ollama.com

4.2 模型仓库： https://ollama.com/library

4.3 仅CPU 模式

拉取镜像并保存，创建容器，$HOME/ollama是保存模型的路径

docker run -d -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

4.4 下面写一个脚本来启动容器 ollamaRUN.sh

#!/bin/bash
#容器的名字
MHZX_NAME='ollama'
#检查启动的容器中是否包行ollama
MHZX_PS_NAME=`docker ps | grep "${MHZX_NAME}" | awk '{print $NF}'`
#判断${MHZX_NAME}是否等于${MHZX_PS_NAME}，如果不相等说明容器ollama没有启动
if [[ ! X${MHZX_NAME} = X${MHZX_PS_NAME} ]];then
  #启动容器
  docker start ${MHZX_NAME}
  sleep 2
  #进入容器
  docker exec -it ${MHZX_NAME} /bin/bash
else
  #进入容器
  docker exec -it ${MHZX_NAME} /bin/bash
fi

5. 进入容器后安装启动 模型

这里介绍通义千问 可以在，模型仓库： https://ollama.com/library

ollama run qwen:4b

ollama run openchat:7b-v3.5-1210-q3_K_L

这样就可以启动了

6. open-webui,由于在本地始终无法完成部署，这里就掠过提供一些帮主

6.1 open-webui 是ollama的wen 图形接口应用

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

【开启open-webui：一键集成ollama，打造革命性GPT体验！】 https://www.bilibili.com/video/BV1wZ42117xY/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed

【ChatGPT高仿版WebUI：Ollama + Open WebUI本地环境搭建】 https://www.bilibili.com/video/BV1Ex421Q723/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed

【轻松搭建本地大模型 Web 交互界面 - Ollama + Open WebUI】 https://www.bilibili.com/video/BV1ux4y1Q7zN/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed