Mengke's blog

Penglaige.webp

Published on
/

5 mins read

/

––– views

Share:

本文将介绍如何在本地部署 DeepSeek 模型,并通过 Chatbox AI 和 Dify 搭建完整的知识库应用。

设备

我用的电脑是 MacBook Pro 2021 版,芯片:M1 Pro,内存 16GB

device info

1. Ollama 安装

Ollama 官方下载地址:https://ollama.com/download

安装完成后验证:

device info

也可打开 http://localhost:11434 查看是否启动成功。

2. DeepSeek 模型部署

DeepSeek 提供了多个版本的模型:

  • 7B:适合入门级硬件(16GB+)
  • 14B:性能和资源消耗均衡(32GB+)
  • 33B:更强大的性能(64GB+)

下载与安装

以 deepseek r1 模型为例:

  1. 访问 https://ollama.com/library/deepseek-r1 ,默认为 7b 模型,如需其他模型,可以在当前页搜索。
  2. 所需模型模型详情页复制安装命令 ollama run deepseek-r1
  3. 安装完成后在终端执行:ollama run deepseek-r1

性能提示:如果硬件条件允许,建议选择 14b 或更高参数量的模型,以获得更好的推理效果。

device info

3. 测试

device info

4. 使用 Dify 搭建知识库

Dify 是一个强大的 AI 应用开发平台,支持多种文档格式、自动向量化,并提供完整的对话管理界面。

1. 部署 Dify

2. 配置 DeepSeek 模型

初次进入,需要设置邮箱、用户名、密码。

3. 添加模型

  1. 点击 Dify 平台右上角头像 ➜ 设置 ➜ 模型供应商 ➜ Ollama ➜ 添加模型。
  2. 配置信息:
    • 模型类型:LLM
    • 模型名称:deepseek-r1
    • 基础URL:http://host.docker.internal:11434

注:使用 host.docker.internal 是为了从容器内访问宿主机的 Ollama 服务。

dify test

4. 创建知识库

知识库 ➜ 创建知识库 ➜ 上传知识 ➜ 等待处理完成

dify test

5. 将机器人和 AI 关联

  1. 打开机器人页面。
  2. 知识库中选择我们创建的知识库。
  3. 发布。

dify test

  1. 优化提示词:

建议:为不同主题创建独立的知识库,可以提高回答的精确度。

5. 安装交互 UI —— Chatbox AI

官网地址:https://chatboxai.app/

配置步骤:

  1. 设置 ➜ 模型提供方选择「Ollama」
  2. API 域名:http://127.0.0.1:11434
  3. 模型:deepseek-r1:latest

chatbox setting

Chatbox AI 支持联网搜索,也可以正确显示思考过程。

chatbox test