• AI »
  • 用Deepseek打造本地知识库

用Deepseek打造本地知识库

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/deepseek-anythingLLM-knowledge/

前言

DeepSeek的火热程度一直升温,各行各业都尝试利用Deepseek解决自己行业的问题。由于每个行业的特点不同,业务逻辑,知识结构等差异非常大,因此通用的推理逻辑并不是真正地解决行业的具体的问题,我们就需要打造本行业专属的知识库,用行业专属的知识解决行业的问题。

本文我们就尝试搭建自己的知识库。

目录

  1. AnythingLLM安装基础环境
  2. 创建工作区,接入DeepSeek
  3. 创建本地知识库

1. AnythingLLM安装基础环境

我们基于 Deepseek 模型来打造本地知识库,首先就是把DeepSeek进行本地安装,详细的安装过程请参考文章 Deepseek快速本地安装

当我们安装 DeepSeek 安装后,接下来需要安装 AnythingLLM 软件。 AnythingLLM,是一款全栈AI应用程序,可集成人工智能的多种功能,像文档、聊天、使用人工智能代理,完全支持本地和离线操作。

官网网址:https://anythingllm.com/desktop,进入网址后,进入官网主页。下载对应的版本,我本地操作系统是windows11,直接下载Download for Windows(X64),下载软件为 AnythingLLMDesktop.exe。

下载完成后,进行安装AnythingLLM软件。安装完成后,打开软件,你会看到简洁直观的界面:

直接点击Get started,即可进入后续操作步骤:

我们点击,向右的箭头。

注:如果安装过程中出现报错,可能是系统缺少某些必备组件,需要根据错误提示,安装相应的组件,确保安装顺利进行。

2. 创建工作区,接入DeepSeek

成功安装AnythingLLM后,打开软件,首先要创建一个工作区。给工作区起一个名字,即可快速创建工作区。每个工作区,可以理解为一个独立的空间,我们可以对不同类型的知识进行分类管理,方便后续查找和使用。

创建好工作区,我们选择配置,左下角的工具图标,用于接入DeepSeek。

切换到配置界面,让DeepSeek和AnythingLLM能够协同工作。

首先,设置语言,从英文界面切换为中文界面。

然后,通过 AnythingLLM 把 DeepSeek接入。接入过程有2个种接入方案。

  1. 通过本地接入,调用本地已部署好的 Ollama,接入DeepSeek。
  2. 通过DeepSeek的官方API接入,直接远程调用官方的在线模型,接入DeepSeek。

1). 通过本地接入,通过调用本地已部署好的 Ollama,接入DeepSeek。

在 LLM首选项菜单 中,选择 LLM供应商,选择Ollama。然后,他会自动检测本地已启动的Ollama服务,选择deepseek-r1:17b。如果Ollama是正常安装的,没有自动改动过配置,默认端口什么的都不用修改。

如果Ollama Model中,下拉菜单中就没deepseek模型,可能是本地Ollama 服务没有启动,请使用

ollama run deepseek-r1:7b

命令启动Ollama服务。如果没有安装Ollama服务,请参考文章 Deepseek快速本地安装,先安装好Ollama和Deepseek。

记得点击保存,“save change”。

配置好后,我们就可以直接返回聊天界面,开始使用anythingLLM了。

2). 通过DeepSeek的官方API接入,通过远程调用官方的在线模型,接入DeepSeek。

另一种方式,如果只想本地使用Deepseek,可以跳过本步骤。

我们把LLM供应商,选择为DeepSeek,即可直接使用Deepseek官方的服务,需要配置API key。

要这个API key,需要登录Deepseek的官网,选择左上角的 API开发平台,进行登录。

登录后,点击左侧菜单的 API keys,创建自己的API key。然后,把这个key输入到之前anythingLLM的配置界面中。这个API服务,是需要付费使用的。价格为每百万输入 tokens 2 元,每百万输出 tokens 8 元,不贵。

但在页面顶端,我们可以看到提示,“当前服务器资源紧张,为避免对您造成业务影响,我们已暂停 API 服务充值。存量充值金额可继续调用,敬请谅解!”。也就是说,现在不开放API的充值了,所以这个路径暂时不通,后面等DeepSeek后面再开放,就可以这样使用了。

3. 创建本地知识库

上面成功把Deepseek入接后,直接返回聊天界面,问一下“你是谁”,就看到了DeepSeek-R1的回答。这样我们就让AnythingLLM和DeepSeek成功连接了。

接下来,让我们上传自己的知识库。在左边对话框,点击上传文件的按钮,选择文本文件上传。

我上传的文件为:段永平先生采访记录,文件下载,2万字全文.pdf

在文件先拖到左边的文件上传蓝色区域 “Click to upload or drag and drop”。上传完成后,把左边的文件拖到右边,进行文本向量转化,它能将输入的文本转化为对应的向量表示。在这个转化过程中,模型会深入分析文本的词汇、语句结构以及语义关联。这种向量表示并非简单的数值罗列,而是蕴含了文本的语义特征,为后续的各种操作提供了基础。

然后,我们回到对话窗口,找一个文件中,有持人问段永平的问题,请deepseek提问。“请问一个好赛道往往会随着竞争的加剧而进入低毛利的时期,那么在这样低毛利的一个时期下,创业者该如何应对呢?”

可以看到Deepseek的回答,总结很大气。

在对比,同样的问题,同一个本地模型,没有用到知识库的情况,Deepseek给的回复。为了区别,我们需要新建一个工作区,命名“测试2”。

两者的主要观点看起来差不多,但从表述上的感觉还是有不少差异,2位专家2个视角,这就是本地知识库带来的影响。下篇文件,我将对比不同模型,对于相同问题,在不同知识领域下的影响。

随着对 Deepseek 的深入使用和能力挖掘,希望能让AI真正成为我们实际工作的得力干将。

转载请注明出处:
http://blog.fens.me/deepseek-anythingLLM-knowledge/

This entry was posted in AI

0 0 votes
Article Rating
Subscribe
Notify of
guest

This site uses Akismet to reduce spam. Learn how your comment data is processed.

0 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x