AI-折腾记-02-(wsl2环境下运行docker+open-webui)

注意:

承接前文 AI-折腾记-01-(wsl2环境下运行docker+cuda:pytorch/onnxruntime)

以下过程无难度，故省略:

1. Windows 上 Ollam 安装
2. Ollam 添加模型 qwen2:1.5
3. Ollam 命令行使用

上述可参考:

• Ollama - CLI Reference
• Ollama - Models - qwen2:1.5

准备就绪后的表现为:

• 可以在 Web 浏览器中访问 http://127.0.0.1:11434/, 能得到如下输出

  Ollama is running

• 可以在 终端(cmd等) 中执行ollama run qwen2:1.5b, 能进行对话

WSL2 中使用 docker 运行 open-webui

• https://github.com/open-webui/open-webui

• Docker 镜像加速参考:

  • https://github.com/dongyubin/DockerHub
  • https://github.com/kubesre/docker-registry-mirrors
  • https://dockerimage.gbfeng.com/image/ghcr.io/open-webui/open-webui:main
  • Docker公益镜像
• huggingface 模型加速参考: HF-Mirror

• 运行 open-webui

  启用 CUDA 方式使用镜像 open-webui/open-webui:cuda, 如果不启用 CUDA 则使用镜像 open-webui/open-webui:main

  # 拉取 open-webui 镜像
  sudo docker pull swr.cn-east-3.myhuaweicloud.com/kubesre/ghcr.io/open-webui/open-webui:cuda
  sudo docker tag swr.cn-east-3.myhuaweicloud.com/kubesre/ghcr.io/open-webui/open-webui:cuda ghcr.io/open-webui/open-webui:cuda

  # 运行 open-webui 容器
  sudo docker run --gpus all -it --rm -p 18080:8080 -v ./open-webui:/app/backend/data --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -e HF_ENDPOINT=https://hf-mirror.com -e PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple -e USE_CUDA_DOCKER=true --name open-webui --restart no ghcr.io/open-webui/open-webui:cuda

  上述 docker run 命令关键参数说明

  • --gpus all 使用 Docker CudaToolkit
  • --add-host=host.docker.internal:host-gateway 主机名映射
  • -e OLLAMA_BASE_URL=http://host.docker.internal:11434 指定使用宿主机的 Ollama, 如果有报错提示连接失败，可以考虑使用宿主机的局域网IP(举例: -e OLLAMA_BASE_URL=http://192.168.1.2:11434)
  • -e HF_ENDPOINT=https://hf-mirror.com huggingface 模型加速
  • -e PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple pip 加速
  • -e USE_CUDA_DOCKER=true 启用 CUDA

  访问 http://127.0.0.1:18080/ 即可

  注意: 如果 Open WebUI 界面模型下拉列表没有模型，但是终端执行 ollama list 的结果有模型，请设置环境变量 OLLAMA_HOST 为 0.0.0.0:11434, 然后重启 Ollama 即可。