在 Linux 服务器上部署 DeepSeek 模型并集成 Open WebUI，可以通过以下两种主流方式实现。以下是具体步骤和注意事项： --- ### **一、基于 Ollama + Docker 的部署方式**（推荐） #### **1. 安装 Ollama 并配置服务** - **安装 Ollama** 执行以下命令一键安装： ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 若网络问题导致下载失败，可手动下载安装脚本并执行： ```bash wget https://ollama.com/install.sh && sh ./install.sh ``` - **修改监听地址** Ollama 默认仅监听本地（`127.0.0.1`），需修改为允许远程访问： ```bash sudo systemctl edit ollama ``` 添加以下内容到配置文件： ```ini [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" ``` 重启服务生效： ```bash sudo systemctl daemon-reload && sudo systemctl restart ollama ``` - **验证服务状态** 检查端口监听情况： ```bash sudo netstat -tulpn | grep 11434 ``` 若输出包含 `0.0.0.0:11434` 表示配置成功。 #### **2. 下载 DeepSeek 模型** - 根据硬件选择模型版本（例如 7B/14B/32B）： ```bash ollama run deepseek-r1:7b # 7B 模型示例 ``` **显存要求参考**： - 7B 模型需约 8GB 显存（4-bit 量化下约 7.6GB）； - 32B 模型需 22GB 显存（推荐 RTX 4090）。 #### **3. 部署 Open WebUI** - **使用 Docker 部署**（推荐）： ```bash docker run -d -p 3000:8080 \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main ``` 若需 GPU 加速，添加 `--gpus all` 参数。 - **验证 WebUI** 访问 `http://:3000`，首次需创建管理员账号，随后可通过界面与模型交互。 #### **4. 远程访问配置** - **SSH 端口转发**（可选）： ```bash ssh -L 3000:localhost:3000 用户名@服务器IP -p SSH端口 ``` 本地浏览器访问 `http://localhost:3000` 即可。 --- ### **二、使用宝塔面板快速部署**（适合新手） 1. **安装宝塔面板** 登录服务器安装宝塔面板，确保版本 ≥ 9.4.0。 2. **通过应用商店部署** - 进入宝塔面板 → Docker → 应用商店，搜索并安装 **DeepSeek-R1** 应用。 - 若需 GPU 支持，编辑 `docker-compose.yml` 文件，取消 GPU 相关配置的注释。 3. **配置模型下载** - 在 Open WebUI 界面中，点击左下角设置 → 模型 → 下载图标，选择模型（如 `deepseek-r1:7b`）。 - **注意**：模型下载可能因网络问题超时，建议多次尝试或使用镜像源。 4. **域名与 SSL 配置** - 宝塔自动配置反向代理和 SSL，绑定域名后可通过 HTTPS 安全访问。 --- ### **三、关键注意事项** 1. **硬件与性能优化** - CPU 模式下，7B 模型可能占用 100% CPU，响应时间较长（如 3 分钟/回答）； - GPU 加速需安装 NVIDIA 驱动和 CUDA Toolkit，验证命令： ```bash python3 -c "import torch; print(torch.cuda.is_available())" ``` 2. **防火墙与安全** - 开放端口 `11434`（Ollama）和 `3000`（WebUI）： ```bash sudo ufw allow 11434/tcp && sudo ufw allow 3000/tcp ``` 3. **模型微调与扩展** - 支持上传私有知识库文档（如 PDF/TXT），通过 Open WebUI 界面创建知识库并关联模型。 --- ### **四、常见问题解决** - **模型下载失败**：尝试更换网络环境或使用离线镜像包（如迅游加速器提供的定制镜像）。 - **端口冲突**：修改 Docker 映射端口（如 `-p 5000:8080`）。 - **权限问题**：确保 Docker 用户组权限正确，或使用 `sudo` 执行命令。通过以上方法，可快速在 Linux 服务器上搭建私有化 DeepSeek 模型服务，并通过 WebUI 实现交互式应用。

在 Linux 服务器上部署 DeepSeek 模型并集成 Open WebUI

主机先生

在 Linux 服务器上部署 DeepSeek 模型并集成 Open WebUI，可以通过以下两种主流方式实现。以下是具体步骤和注意事项：

一、基于 Ollama + Docker 的部署方式（推荐）

1. 安装 Ollama 并配置服务

安装 Ollama
执行以下命令一键安装：

  curl -fsSL https://ollama.com/install.sh | sh

若网络问题导致下载失败，可手动下载安装脚本并执行：

  wget https://ollama.com/install.sh && sh ./install.sh

修改监听地址
Ollama 默认仅监听本地（127.0.0.1），需修改为允许远程访问：

  sudo systemctl edit ollama

添加以下内容到配置文件：

  [Service]
  Environment="OLLAMA_HOST=0.0.0.0:11434"

重启服务生效：

  sudo systemctl daemon-reload && sudo systemctl restart ollama

验证服务状态
检查端口监听情况：

  sudo netstat -tulpn | grep 11434

若输出包含 0.0.0.0:11434 表示配置成功。

2. 下载 DeepSeek 模型

根据硬件选择模型版本（例如 7B/14B/32B）：

  ollama run deepseek-r1:7b  # 7B 模型示例

显存要求参考：

7B 模型需约 8GB 显存（4-bit 量化下约 7.6GB）；
32B 模型需 22GB 显存（推荐 RTX 4090）。

3. 部署 Open WebUI

使用 Docker 部署（推荐）：

  docker run -d -p 3000:8080 \
    --add-host=host.docker.internal:host-gateway \
    -v open-webui:/app/backend/data \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:main

若需 GPU 加速，添加 --gpus all 参数。

验证 WebUI
访问 http://<服务器IP>:3000，首次需创建管理员账号，随后可通过界面与模型交互。

4. 远程访问配置

SSH 端口转发（可选）：

  ssh -L 3000:localhost:3000 用户名@服务器IP -p SSH端口

本地浏览器访问 http://localhost:3000 即可。

二、使用宝塔面板快速部署（适合新手）

安装宝塔面板
登录服务器安装宝塔面板，确保版本 ≥ 9.4.0。
通过应用商店部署
- 进入宝塔面板 → Docker → 应用商店，搜索并安装 DeepSeek-R1 应用。
- 若需 GPU 支持，编辑 docker-compose.yml 文件，取消 GPU 相关配置的注释。
配置模型下载
- 在 Open WebUI 界面中，点击左下角设置 → 模型 → 下载图标，选择模型（如 deepseek-r1:7b）。
- 注意：模型下载可能因网络问题超时，建议多次尝试或使用镜像源。
域名与 SSL 配置
- 宝塔自动配置反向代理和 SSL，绑定域名后可通过 HTTPS 安全访问。

三、关键注意事项

硬件与性能优化

CPU 模式下，7B 模型可能占用 100% CPU，响应时间较长（如 3 分钟/回答）；

GPU 加速需安装 NVIDIA 驱动和 CUDA Toolkit，验证命令：

     python3 -c "import torch; print(torch.cuda.is_available())"

防火墙与安全

开放端口 11434（Ollama）和 3000（WebUI）：

     sudo ufw allow 11434/tcp && sudo ufw allow 3000/tcp

模型微调与扩展
- 支持上传私有知识库文档（如 PDF/TXT），通过 Open WebUI 界面创建知识库并关联模型。

四、常见问题解决

模型下载失败：尝试更换网络环境或使用离线镜像包（如迅游加速器提供的定制镜像）。
端口冲突：修改 Docker 映射端口（如 -p 5000:8080）。
权限问题：确保 Docker 用户组权限正确，或使用 sudo 执行命令。

通过以上方法，可快速在 Linux 服务器上搭建私有化 DeepSeek 模型服务，并通过 WebUI 实现交互式应用。