如何让同事访问本地部署anythingllm的deepseek

配置网络或权限以允许多用户访问本地部署的 DeepSeek AnythingLLM
为了实现同事可以访问本地部署的 DeepSeek AnythingLLM 模型，需要对服务器端进行一些必要的配置调整。以下是具体的解决方案：
1. 修改绑定地址
默认情况下，DeepSeek 或其他类似的 LLM 工具可能仅监听 localhost 地址（即 127.0.0.1），这会阻止外部设备连接到该服务。可以通过修改启动命令中的绑定地址来解决此问题。
如果使用的是 Ollama 的方式，则可以在运行模型时通过参数指定绑定 IP 和端口。例如：
ollama serve --host 0.0.0.0 --port 11434
登录后复制
上述命令会让服务监听所有的网络接口 (0.0.0.0) 并开放给局域网内的其他设备访问[^1]。
对于 VLLM 方式的部署，通常也需要在启动脚本中显式设置绑定地址。假设使用的 Python 脚本如下所示：
from vllm import LLM, SamplingParams

model = LLM(model="deepseek-r1", host="0.0.0.0", port=8000)
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

output = model.generate(["Hello world"], sampling_params=sampling_params)
print(output)
登录后复制
2. 设置防火墙规则
确保服务器上的防火墙不会阻止单位内部用户的访问请求。可以通过以下命令打开特定端口（如上例中的 11434 或 8000）：
sudo ufw allow 11434/tcp
sudo ufw enable
登录后复制
或者临时禁用防火墙测试连通性：
sudo ufw disable
登录后复制
3. 使用路由器转发端口
当 DeepSeek 安装在一个独立的工作站而非公共云环境里时，还需要考虑 NAT 穿透问题。具体操作取决于所在办公室网络架构；一般而言，在企业级交换机/无线 AP 上添加静态路由映射即可达成目标——即将外网入口指向内网实际承载业务的服务节点。
4. 提供安全认证机制
考虑到数据隐私保护需求，建议引入基本的身份验证措施防止未授权人员随意调用 API 接口。一种简单的方法是在 Nginx 反向代理前加一层 HTTP Basic Auth 层次控制谁能真正接触到后端逻辑处理单元。安装并编辑站点配置文件示例如下：
server {
listen 80;
server_name your-domain-or-ip;

location / {
auth_basic "Restricted Area";
auth_basic_user_file /etc/nginx/.htpasswd; # 用户名密码存储路径

proxy_pass http://127.0.0.1:11434/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
登录后复制
最后记得重启 Nginx 生效更改：
sudo systemctl restart nginx
登录后复制

总结
通过以上几个方面的调整，可以让更多团队成员便捷地利用已有的计算资源开展协作研究工作。当然除了技术层面之外还应该制定相应的管理制度保障整个流程有序高效运转下去。