linux本地部署deepseek+局域网知识库
根据引用[1],用户提到使用Ollama和Page Assist浏览器插件来部署DeepSeek,并且目标是在局域网服务器部署,让其他电脑访问。所以第一步应该是安装Ollama。引用[2]里提到了在Ubuntu环境下使用llama.cpp进行CPU与GPU混合推理,可能需要安装一些依赖项,比如build-essential、cmake、curl等。还有引用[3]提到设置Ollama服务主机的固定IP,确保局域网访问。
接下来,我需要整理步骤。首先安装Ollama,然后拉取DeepSeek模型。安装依赖项的时候,可能需要按照引用[2]中的命令执行,比如更新apt-get,安装必要的软件包。然后配置Ollama的网络设置,使其监听所有IP地址,这样其他局域网内的设备才能访问。引用[3]中提到了设置固定IP,这可能需要用户手动配置网络接口,比如修改/etc/netplan下的配置文件或者使用nmcli工具。
另外,关于知识库部分,用户可能想结合LangChain或类似框架来管理本地文档,构建RAG应用。需要安装LangChain,并编写Python代码来加载文档、处理文本、建立向量数据库,并通过Ollama的API进行交互。这部分可能需要示例代码,比如使用LangChain的文档加载器和文本分割器,然后使用HuggingFaceEmbeddings生成向量,最后用Chroma作为向量存储。
用户可能遇到的问题包括Ollama服务无法启动、局域网无法访问、模型加载失败等。这时候需要检查防火墙设置,确保端口11434开放,Ollama服务是否正确监听0.0.0.0,以及模型是否下载正确。
最后,生成相关问题时要考虑部署中的常见问题,比如性能优化、安全设置、模型微调等,以及如何扩展知识库的应用场景。### 分步教程:Linux系统部署DeepSeek模型并支持局域网访问知识库
一、基础环境部署
安装Ollama框架
通过官方脚本安装Ollama服务(需联网):curl -fsSL https://ollama.com/install.sh | sh
验证安装:
systemctl status ollama
[^1]拉取DeepSeek模型
选择适合的模型版本(如deepseek-llm:7b
):ollama pull deepseek-llm
查看已安装模型:
ollama list
二、配置局域网访问
设置Ollama监听地址
修改服务配置文件,允许所有IP访问:sudo systemctl edit ollama.service
在文件中添加:
[Service] Environment="OLLAMA_HOST=0.0.0.0"
重启服务:
sudo systemctl restart ollama
[^3]配置服务器固定IP
通过nmcli
设置静态IP(示例):sudo nmcli con mod "有线连接" ipv4.addresses 192.168.1.100/24 ipv4.gateway 192.168.1.1 ipv4.dns "8.8.8.8" ipv4.method manual sudo nmcli con up "有线连接"
防火墙放行端口
允许11434端口通信:sudo ufw allow 11434/tcp
三、知识库集成(RAG应用)
安装LangChain框架
使用Python环境安装依赖:pip install langchain chromadb sentence-transformers
编写知识库处理脚本
from langchain.document_loaders import DirectoryLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma # 加载本地文档 loader = DirectoryLoader('/path/to/docs', glob="**/*.txt") documents = loader.load() # 分割文本 text_splitter = RecursiveCharacterTextSplitter(chunk_size=500) texts = text_splitter.split_documents(documents) # 生成向量数据库 embeddings = HuggingFaceEmbeddings() vector_db = Chroma.from_documents(texts, embeddings, persist_directory="./chroma_db")
通过API调用模型
使用CURL测试接口:curl http://服务器IP:11434/api/generate -d '{ "model": "deepseek-llm", "prompt": "如何解释量子纠缠?", "context": {"knowledge_base": "./chroma_db"} }'
四、验证与调试
局域网客户端测试
其他设备访问:import requests response = requests.post('http://192.168.1.100:11434/api/chat', json={ "model": "deepseek-llm", "messages": [{"role": "user", "content": "简述相对论"}] }) print(response.json())
常见问题排查
- 服务未启动:检查
journalctl -u ollama.service
- 连接被拒绝:确认防火墙和SELinux状态
- 模型加载慢:添加
--n-gpu-layers 20
参数提升GPU利用率[^2]
- 服务未启动:检查
相关推荐

















