在linux服务器部署Deepseek本地部署指南:在mac远程web-ui访问

在本地部署DeepSeek模型，您可以通过以下步骤在Windows、macOS或Linux系统上进行操作：

1. 安装Ollama：

Ollama是一个用于本地运行AI模型的工具，支持多种操作系统。

• 下载并安装：
• 访问Ollama官网（https://ollama.com/download），根据您的操作系统下载相应的安装包。
• 安装完成后，启动Ollama应用程序。

2. 下载DeepSeek模型：

DeepSeek提供多个版本的模型，您可以根据硬件配置选择适合的版本。

• 选择模型版本：
• DeepSeek模型有不同的参数规模，如1.5B、7B、8B、14B、32B等。
• 一般来说，参数规模越大，模型性能越强，但对硬件要求也更高。
• 下载模型：
• 在命令行中输入以下命令以下载所选模型：

ollama run deepseek-r1:7b

• 请根据您的硬件配置选择适合的模型版本。

3. 配置Ollama服务以允许远程访问：

为了从其他设备远程访问DeepSeek模型，您需要配置Ollama服务监听所有网络接口。

• 设置环境变量：
• 在命令行中输入以下命令：

export OLLAMA_HOST=0.0.0.0

• 创建Ollama服务配置文件：
• 在/etc/systemd/system/目录下创建名为ollama.service的文件，内容如下：
• ini

[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/local/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="OLLAMA_HOST=0.0.0.0" Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin" [Install] WantedBy=default.target

• 重新加载并启动Ollama服务：

sudo systemctl daemon-reload sudo systemctl restart ollama

• 验证服务状态：

sudo systemctl status ollama

4. 配置防火墙以允许远程访问：

确保服务器的防火墙允许通过端口11434的流量。

• 允许端口：

sudo ufw allow 11434/tcp sudo ufw reload

• 验证防火墙规则：

sudo ufw status

5. 在其他设备上测试远程访问：

完成上述配置后，您可以从其他设备测试对Ollama服务的访问。

• 测试连接：

curl http://<服务器IP地址>:11434/api/version

• 如果返回类似{"version":"0.5.7"}的响应，说明连接成功。
• 测试模型推理：

curl -X POST http://<服务器IP地址>:11434/api/generate \ -H "Content-Type: application/json" \ -d '{"model": "deepseek-r1:7b", "prompt": "你是谁?"}'

• 如果返回模型的响应，说明模型推理成功。

通过以上步骤，您已成功在本地部署了DeepSeek模型，并配置了远程访问。

请注意，以上步骤中的<服务器IP地址>应替换为您服务器的实际IP地址。

此外，确保您的服务器和其他设备之间的网络连接正常，并且防火墙规则已正确配置，以允许通过端口11434的通信。