• Archive by category "AI"

Blog Archives

用Deepseek打造本地知识库

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/deepseek-anythingLLM-knowledge/

前言

DeepSeek的火热程度一直升温,各行各业都尝试利用Deepseek解决自己行业的问题。由于每个行业的特点不同,业务逻辑,知识结构等差异非常大,因此通用的推理逻辑并不是真正地解决行业的具体的问题,我们就需要打造本行业专属的知识库,用行业专属的知识解决行业的问题。

本文我们就尝试搭建自己的知识库。

目录

  1. AnythingLLM安装基础环境
  2. 创建工作区,接入DeepSeek
  3. 创建本地知识库

1. AnythingLLM安装基础环境

我们基于 Deepseek 模型来打造本地知识库,首先就是把DeepSeek进行本地安装,详细的安装过程请参考文章 Deepseek快速本地安装

当我们安装 DeepSeek 安装后,接下来需要安装 AnythingLLM 软件。 AnythingLLM,是一款全栈AI应用程序,可集成人工智能的多种功能,像文档、聊天、使用人工智能代理,完全支持本地和离线操作。

官网网址:https://anythingllm.com/desktop,进入网址后,进入官网主页。下载对应的版本,我本地操作系统是windows11,直接下载Download for Windows(X64),下载软件为 AnythingLLMDesktop.exe。

下载完成后,进行安装AnythingLLM软件。安装完成后,打开软件,你会看到简洁直观的界面:

直接点击Get started,即可进入后续操作步骤:

我们点击,向右的箭头。

注:如果安装过程中出现报错,可能是系统缺少某些必备组件,需要根据错误提示,安装相应的组件,确保安装顺利进行。

2. 创建工作区,接入DeepSeek

成功安装AnythingLLM后,打开软件,首先要创建一个工作区。给工作区起一个名字,即可快速创建工作区。每个工作区,可以理解为一个独立的空间,我们可以对不同类型的知识进行分类管理,方便后续查找和使用。

创建好工作区,我们选择配置,左下角的工具图标,用于接入DeepSeek。

切换到配置界面,让DeepSeek和AnythingLLM能够协同工作。

首先,设置语言,从英文界面切换为中文界面。

然后,通过 AnythingLLM 把 DeepSeek接入。接入过程有2个种接入方案。

  1. 通过本地接入,调用本地已部署好的 Ollama,接入DeepSeek。
  2. 通过DeepSeek的官方API接入,直接远程调用官方的在线模型,接入DeepSeek。

1). 通过本地接入,通过调用本地已部署好的 Ollama,接入DeepSeek。

在 LLM首选项菜单 中,选择 LLM供应商,选择Ollama。然后,他会自动检测本地已启动的Ollama服务,选择deepseek-r1:17b。如果Ollama是正常安装的,没有自动改动过配置,默认端口什么的都不用修改。

如果Ollama Model中,下拉菜单中就没deepseek模型,可能是本地Ollama 服务没有启动,请使用

ollama run deepseek-r1:7b

命令启动Ollama服务。如果没有安装Ollama服务,请参考文章 Deepseek快速本地安装,先安装好Ollama和Deepseek。

记得点击保存,“save change”。

配置好后,我们就可以直接返回聊天界面,开始使用anythingLLM了。

2). 通过DeepSeek的官方API接入,通过远程调用官方的在线模型,接入DeepSeek。

另一种方式,如果只想本地使用Deepseek,可以跳过本步骤。

我们把LLM供应商,选择为DeepSeek,即可直接使用Deepseek官方的服务,需要配置API key。

要这个API key,需要登录Deepseek的官网,选择左上角的 API开发平台,进行登录。

登录后,点击左侧菜单的 API keys,创建自己的API key。然后,把这个key输入到之前anythingLLM的配置界面中。这个API服务,是需要付费使用的。价格为每百万输入 tokens 2 元,每百万输出 tokens 8 元,不贵。

但在页面顶端,我们可以看到提示,“当前服务器资源紧张,为避免对您造成业务影响,我们已暂停 API 服务充值。存量充值金额可继续调用,敬请谅解!”。也就是说,现在不开放API的充值了,所以这个路径暂时不通,后面等DeepSeek后面再开放,就可以这样使用了。

3. 创建本地知识库

上面成功把Deepseek入接后,直接返回聊天界面,问一下“你是谁”,就看到了DeepSeek-R1的回答。这样我们就让AnythingLLM和DeepSeek成功连接了。

接下来,让我们上传自己的知识库。在左边对话框,点击上传文件的按钮,选择文本文件上传。

我上传的文件为:段永平先生采访记录,文件下载,2万字全文.pdf

在文件先拖到左边的文件上传蓝色区域 “Click to upload or drag and drop”。上传完成后,把左边的文件拖到右边,进行文本向量转化,它能将输入的文本转化为对应的向量表示。在这个转化过程中,模型会深入分析文本的词汇、语句结构以及语义关联。这种向量表示并非简单的数值罗列,而是蕴含了文本的语义特征,为后续的各种操作提供了基础。

然后,我们回到对话窗口,找一个文件中,有持人问段永平的问题,请deepseek提问。“请问一个好赛道往往会随着竞争的加剧而进入低毛利的时期,那么在这样低毛利的一个时期下,创业者该如何应对呢?”

可以看到Deepseek的回答,总结很大气。

在对比,同样的问题,同一个本地模型,没有用到知识库的情况,Deepseek给的回复。为了区别,我们需要新建一个工作区,命名“测试2”。

两者的主要观点看起来差不多,但从表述上的感觉还是有不少差异,2位专家2个视角,这就是本地知识库带来的影响。下篇文件,我将对比不同模型,对于相同问题,在不同知识领域下的影响。

随着对 Deepseek 的深入使用和能力挖掘,希望能让AI真正成为我们实际工作的得力干将。

转载请注明出处:
http://blog.fens.me/deepseek-anythingLLM-knowledge/

Deepseek快速本地安装

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/deepseek-start/

前言

2025年的春节,是个不一样的春节。Deepseek一声惊雷,让整个春节被全球媒体刷屏了。

不仅是国家层面的竞争格局发生了变化,同时,也让我们普通人拉平了与大模型大厂的差距,新的AI时代开始了。

目录

  1. Deepseek是什么
  2. 安装Ollama
  3. 安装Deepseek
  4. 安装webui界面

1. Deepseek是什么

Deepseek是什么?我们本地部署好后,让Deepseek自己来回答。

“深度求索人工智能基础技术研究有限公司(简称“深度求索”或“DeepSeek”),成立于2023年,是一家专注于实现AGI的中国公司。”

在命令行中,启动Deepseek,问:Deepseek是什么。

如果不想本地安装,也可以直接使用Deepseek的官方网站进行注册,使用在线的Deepseek服务:https://www.deepseek.com/

Deepseek官网就已经写明了,DeepSeek-R1已发布并开源,性能对标OpenAI o1正式版。那么,我们就本地部署DeepSeek-R1模型。

2. 安装Ollama

本地部署Deepseek是要用到 Ollama,它能支持很多大模型。Ollama官方网站:https://ollama.com/

选择DeepSeek-R1,就进入了模型页面。

DeepSeek-R1模型共有7个版本,分别对应不同的参数级别 1.5b,7b,8b,14b,32b,70b,671b。数值越大,参数越高,效果越好,但需要的硬件资源也会越高。我在本地电脑部署,就选个小点的7b模型。

我本地电脑环境为:

  • Win11,64位,x86架构
  • CPU: Intel i7-9750H 2.6G
  • 内存: 48G
  • 显卡:GPU NVIDIA Quadro T2000 24G

我们选Ollama软件包下载,OllamaSetup.exe。然后,按install进行安装。Ollama只能安装在C盘,不能修改路径,请小伙伴一定,留出足够多的空间来,至少20G,不然会影响到,滞后电脑的运行。

安装好后,就有了ollama的一个应用程序,运行后右下角度会出现 ollama 的图标。

3. 安装Deepseek

然后打开windows的命令行,输入

ollama run deepseek-r1:7b

下载deepseek-r1:7b模型,并进行安装,有4.7GB。下载大概要30分钟左右。然后,会自动运行,我们可以输入hello,和deepseek模型进行对话了。

如果关上了命令行窗口,重新打开,可以再次输入。

ollama run deepseek-r1:7b

这样就成功运行了,DeepSeek-R1的7b模型。

4. 安装webui界面

在命令行运行后,使用起来不太直观,我们可以再安装一个webui的界面,以更方便的方式进行使用。

4.1 安装python

这里选择基于python的open-webui开源界面工具。首先要安装python,open-webui要求python的最低版本要大于3.11,请先去python官网下载最新的版本,https://www.python.org/downloads/

我选择下载了python 3.12-8版本,当然也可以选择 3.13.1版本。

用python-3.12.8-amd64.exe文件进行安装,然后配置环境变量,

新打开一个命令行,输出python,启动python命令行,即安装成功。

然后,按ctrl+D 退出python命令行,安装 open-webui 的界面。

先安装pip工具,pip工具是用于python的工具包管理,使用pip来安装各种python 工具包。

python -m pip install --upgrade pip

4.2 安装open-webui

完成后,使用pip安装open-webui包。这个过程,要安装很多的包,如果要持续30分钟左右。

pip install open-webui

这里通常会错一个错误,就是缺少C++的一个编译库,需要下载Microsoft C++ 生成工具,打开连接
https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/

安装好后,打开visual studio installer工具,选择C++桌面开发,再安装一些工具包。

然后再执行安装open-webui,这样就成功安装了。

pip install open-webui

4.3 启动open-webui

然后,我们再通过命令行,输入open-webui serve命令,就可以启动open webui的界面。

open-webui serve

配置好登录信息后,webui的客户端就会自动连接上,我们本地启动的deepseek模型了。

然后就可以使用的更方便的webui进行与deepseek的对话了。

webui的后面程序日志,看到前后端的交互情况。

Deepseek的横空出世拉平了,我与大厂的距离,我们所有人都战在了同一起跑线。祝大家2025新年快乐!!

转载请注明出处:
http://blog.fens.me/deepseek-start/

如何确定数据分析目标

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/data-analysis-goal/

前言

数据分析核心要解决业务问题,通过数据发现规律,驱动业务创新发展。那么如何确定一个核心的分析目标就变得尤为重要,如果目标找的不对,那么就会一直原地打转。花费了无数时间,也不过是徒劳。

目录

  1. 如何设定分析目标
  2. 目标分解
  3. 人是最核心的

1. 如何设定分析目标

设定数据分析目标,是为了能让数据能更好的落地。那么在设计目标前,需要先理解数据落地是什么,请参考文章怎么理解数据分析落地

如何设定分析目标?首先,需要与业务团队紧密合作,了解他们的需求和目标。确保数据分析的目标与实际业务目标紧密相关,以便分析结果能够为业务决策提供有意义的指导。然后,具体定义需要解决的分析问题。问题应具体明确,具备可操作性。

目标,最好是一句话能说明白,到底要做什么,能达到什么样的结果。

在不同场景下,我们定义的分析目标是不一样的。

  • 量化投资,通过程序算法可直接变现。
  • 电商商品推荐,增加客户购买效率。
  • 地图导航:帮助用户规划路线
  • 风险识别:精准发现风险问题
  • 医疗影像识别:给出辅助诊断结果
  • 自动驾驶:帮助用户自动开车

在每个生活的领域中,都已经存在大量的数据分析的案例。

那么,在你做的数据分析的工作,你能用一句话说清楚吗,数据分析到底是为了什么?这个点上,大家通常都是迷茫的。可能是为了发论文,可能是领导布置的工作,可能是照搬之前形成的模板…

所以怎么把思路改变,怎么能让工作变得有意义,就需要从定义一个好的目标开始。然后,命中靶心!

2. 目标分解

目标一定是明确的,通过目标分解,可以把一个宏大目标分解成多少小的目标来执行,最终实现最初的目标。

量化投资,通过程序算法可直接变现,以一个金融市场交易策略来举例。

我们要达成 “通过程序算法可直接变现” 的目标,就需要把目标进行分解,变成可操作的任务。从而把一个大的抽象的目标,变成多个小的更具体的目标。

  1. 设定目标:在金融市场上,分析关税对于大宗商品的影响,从而进行期货交易实现套利。
  2. 定义逻辑和输出结果:分析受到关税影响的商品,以及进出口的变化,结合期货市场的价格和持仓,找到合适的交易买卖点,生成交易信号。
  3. 技术方法:以均线策略和布林线策略为核心,结合基本面的关税数据,通过R语言编写程序,计算出交易信号。
  4. 回测验证:把交易信号放到回测程序中,通过历史数据验证交易是否赚钱,计算收益率,夏普率,胜率等指标,买卖滑点,资金容量等
  5. 实盘验证:金融白银的投入到策略中,策略出什么信号,就买什么票,直到实现盈利。

然后,再近一步拆解,拆成更细粒度的,通过数据能体现的。

  1. 采集国内期货市场数据,取1分钟周期的数据,提取数据字段包括交易时间、开高低收价格、持仓量、交易金额。
  2. 以跨期交易为核心统计套利思路,叠加关税变化在相同商品,不同合约的影响,找到变化大小的规律。
  3. 以均线策略和布林线策略为核心,结合基本面的关税数据,计算出交易信号,并考虑手续费、滑点等影响因素。
  4. 构建回测功能函数,支持按手交易,或者按资金体量交易,能够进行收益率,夏普率,胜率等指标计算。

通过一层一层的分析,在我们梳理业务逻辑并结合数据,就可以把最初的目标,逐步分解成可执行小任务小目标,从而完成整个项目方案。

当然,对于新的数据分析方向来说,你可能不清楚怎么分解更合理,这需求大量来补充行业经验和知识。人的经验很重要。

3. 人是最核心的

数据分析核心要解决业务问题,通过数据发现规律,为业务服务,产生价值,获得收益,从而实现数据落地。

整个一套流程下来人是最核心的。人需要理解业务,人需要发现规律,人需要把业务和数据连接,人需要编写逻辑程序,人需要验证逻辑,人需要验证价值。

大模型虽然可以辅助人来做其中的一部分或者多部分工作,但是还远远达不到人的能力水平。每个都是个性化的个体,有着不是生长环境,不同的工作经历,掌握不同专业技能,因此我们每个看待同一件事情的角度,都是不一样的。这种不一样的东西,才是创新的原动力。

希望每一位数据分析师,都能发挥出自己的聪明才智,实现自己的目标突破,完成数据落地。

转载请注明出处:
http://blog.fens.me/data-analysis-goal/

怎么理解数据分析落地

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/data-analysis-understand/

前言

数据分析核心要解决业务问题,通过数据发现规律,驱动业务创新发展。数据分析要落地,就是找到数据的价值。如果找不到价值,那么就会一直原地打转。花费了无数时间,也不过是徒劳。

什么是数据落地

什么数据落地?一句话来概括,“通过数据解决实际的业务问题,带来明显收益”。

比如,做金融量化投资,通过分析金融数据市场的数据,设计算法策略,购买股票、期货等金融产品,最后赚到钱。这就是个一数据落地的过程。如果最后没有赚到钱,那么不管之前做了多少努力,花了多少时间多少成本,最后都没有落地。数据落地一定要结果导向的,必须要获得实实在在的结果。(这里也要排除,短期可能亏损,但长期是盈利的情况。)

看似简单的数据落地过程,中间有大量细节投入,而且会受到很多的因素影响。坚守初衷,每个步骤都做到位,其实是挺困难的一件事。我在文章 影响数据分析落地的9大影响因素 ,中介绍了9种影响数据分析的因素。

作为数据分析师,我们可能可能大部分时间都做了与数据落地不相关的事情,陷入各种繁琐的流程中。

我们在一个量化投资项目中,用了50%的时间,与领导沟通进行立项、申请服务器、开通权限、做数据库选型、拉了内部群、写了各种汇报材料;用30%的时间,完成数据采集和数据清洗,又用了20%的时间,接入了大模型,完成了一个回测的任务,收益率达到了80%,夏普指数也达到1.5。然后,我们就汇报了领导,然后领导就拓展了公司业务,公司蒸蒸日上的发展。

听起来合情合理,但又感觉那里怪怪的。

上面场景中,我们即没有提到业务逻辑,也没有解决业务的问题,交易策略只跑了回测,在实际交易中能否产生收益也是未知的,因此得不出公司发展的结论。

那要完善这个过程,就需要有更多的细节,通过细节的操作,一方面能代表你了解你的业务场景和数据,证明你的专业性;第二你需要说出你的特别之处,从而证明你发现了别人不知道的规律,你的逻辑是成立;第三用实盘的交易结果,把逻辑进行验证,证明在实际交易中也是成立的。这样才能达到数据分析落地的目的。

当理解什么是数据落地,接下来,就需要为数据落地设定分析目标了。如果目标设定的明确,那么做起事来事半功倍,如果目标不明确,那么就会围绕靶心,不断地转圈圈。

转载请注明出处:
http://blog.fens.me/data-analysis-understand/

影响数据分析落地的9大影响因素

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/data-analysis-factor-top9/

前言

现在我们正处于大数据时代,处处都产生数据,大部分数据已经不在稀缺,分析方法和算法模型都也写在了教课书中,如何挖掘出数据的价值,让数据分析落地,把数据价值转换为业务价值,是数据分析师核心要考虑的。数据分析要解决实际业务场景问题,伪需求、不清晰的目标,都会造成项目失败。

本文总结了影响数据分析落地的9大影响因素。

目录

  1. 影响数据分析的因素
  2. 无处不在的伪需求
  3. 目标不明确
  4. 口嗨
  5. 自我陶醉
  6. 业务理解不到位
  7. 炫技
  8. 只用自己会的技术
  9. 模型是万能的
  10. 既要..又要..也要..还要

1. 影响数据分析的因素

影响数据落地的因素有很多,可能数据分析做着做着,就会偏离原先既定的目标。

做数据分析项目,通常在开始时,第一步,我们都要先设定分析目标是什么,要解决一个怎样的问题。第二步,要思考如何用数据来解决,能产生什么结果,这个结果对于我们目标有什么样的促进作用。第三步,方法路径是什么,用什么技术,用什么模型,怎么做数据,怎么进行训练。第四步,是对模型结果进行验证,是否结果是有效的,是否正确,又是否准确的。

一个目标明确的数据分析项目,我们通常把具体做什么,提前设计技术框架,来保证数据分析的稳定执行。

但是,在执行过程中,会遇到各样的问题。可能有我们自身思路的限制的影响,也有外界市场变化,甲方领导带来的影响,导致我们在做分析时,会有各种各样的偏差。

2. 无处不在的伪需求

伪需求是指那些表面上看起来像是需求,实际上并不是真正必需的需求,通常是由于外部压力、误解或者不合理的预期所产生的。简单来说,伪需求并非真正影响项目目标的关键需求,它可能会浪费时间和资源,导致不必要的复杂性。在一些领域,特别是在产品开发或项目管理中,伪需求可能会引发团队的误方向。比如客户可能要求一些看似有用但实际无关紧要的功能,而这些功能最终并没有为项目带来实际价值。

很多人都不能分辨,什么是真正的需求和伪需求。以为自己需要的,自己想到的,就是真正需求,而并不关心,客户想要什么。这样提出的需求,就很有局限性,通常就不是一个共性问题。

在数据分析领域,伪需求通常表现为对数据的误解或不必要的分析,导致资源浪费和效率低下。以下是一个具体的例子:

案例:缺陷状态数据分析

某公司要求数据分析师对产品缺陷的状态进行详细分析,包括每个缺陷的当前状态、历史状态变化等。然而,深入分析后发现,这些状态数据并未对产品质量改进提供实质性帮助。真正有价值的指标是缺陷的严重程度、发生频率以及修复时间等。对缺陷状态的过度分析反而分散了团队对关键问题的关注,导致资源浪费。

在上述案例中,对缺陷状态的详细分析被认为是必要的,但实际上并未对产品改进带来实际价值。这类伪需求可能源于对数据价值的误解,或是未能准确识别业务需求。为了避免陷入伪需求的陷阱,数据分析师应与业务部门密切沟通,明确分析目标,聚焦于能为决策提供支持的关键指标。

通过识别和避免伪需求,数据分析团队可以更有效地利用资源,专注于真正能推动业务发展的分析工作。

3. 目标不明确

数据分析的核心,是就数据思路解决实际的业务问题。在不了解业务的时候,可能提不出来明确的目标。另一方面,在做数据分析的过程中,可能一会儿想一个,一会儿又想一个,造成目标很多。一直就不能定位到核心目标是什么。比如,我们的目标是从期货市场赚到钱。首先,要研究期货数据,然后研究策略,然后进行交易,最后赚到钱。

但目标不明确,导致分析方向不明确,难以得出有价值的结论。

如果甲方没思路,让你来提供思路,恭喜你,你不做出10个版本,甲方是不会放过你的。如果传达不准确,领导开会一句话,你为了这句话,绞尽脑汁,也不可能想到他的心理去。如果多个决策人,A处说一,B处说二,C处说三,都对,都是领导,后面就可以自行脑补了。

4. 口嗨

口嗨:大厂的人都说了能实现,所以这个技术一点也不难。

由于现在的短视频很发达,我们经常会刷到各种神乎其神的技术,解决了人类一大痛点问题。现在可能只是一个很小的突破,未来真的有可能解决。也被自媒体放大或者错误解读,让大家就真的感受到未来已来的幻觉。

有了这种幻觉后,就感觉自己作为数据分析的从业者,也能做出和报道中一样的效果。

有些大公司团队,甚至把这种虚幻的内容,当成碾压小公司的亮点技术,在客户这边打散吹嘘。一旦甲方领导信了这些飘在天上的,就会对自己的下属,乃至其他的乙方团队提出相当大的质疑。

为什么大公司都说,这个实现起来很容易,你们就是不会做呢?最后领导找大公司来做了,并花费了不少的钱,搞几年烂尾了,终于知道当时那些大厂销售,是一时的口嗨。

这个故事在不断的重复。

5. 自我陶醉

自我陶醉:我做的模型非常好:查准率,查全率,F1,AUC/ROC,接近完美。

在面试做数据分析的小朋友,很多人都处于“自我陶醉”中。在完成了一些老师给的任务,或者参加kaggle的比赛,得到了一些鼓励,就觉得自己行了。

比如,基于给定的数据做分类训练,比如纽约出租车数据分析、xx地区犯罪案件分析、xx地区房屋租金分析、xx企业零售商品分析等。

当问道为什么会有这么好的结果时,回复通常是,“教课书就这么说的,我按步骤做的,就应该有这样的结果,难道不是么”。然后,一脸质疑地看着我。

只有陶醉,过于入戏了。

6. 业务理解不到位

业务理解不到位:我能找出异常点,具体对应什么问题,你们一看应该就知道。

很多从软件开发转型做数据分析的人,绝大部分精力都关注在技术实现,比如何做数据结构,如何如做ETL,如何调用某个模型等,但是对于业务逻辑,并没有清晰的认识。

他们特别擅长用神经网络一类的模型,把数据填入模型,根据技术指标做做调优。把结果成功的计算出来,认为这一定是业务需要的,他的工作就完成了。并不对结果进行解析,觉得你们一看应该就知道,这个结果怎么来的。

这将导致,结果在业务上不可用。因为业务人员也不能理解,这些结果有什么用,是什么逻辑产生的,有什么价值等。

7. 炫技

炫技:有一种新算法,这个项目一定要使用。

这可是最新的论文,能解决xx问题,在哪个杂志发表了,设计到几百个特征,几十的调参变量,50层以上的神经网络。

这种做法,会把项目带入无尽的复杂度。如果真是复杂度匹配的项目,那么这么做没问题。但如果是一个一般的项目,一个逻辑回归就能很好解决的问题,用上了复杂度过高的模型,不仅成本会大大超过,而且后期维护调优,更是噩梦。

就类似于糟糕的程序员10年攒下的屎山一样。

8. 只用自己会的技术

只用自己会的技术:我在学校里学过逻辑回归,所以我要用这个模型。

现在国内外的本科和研究生都开了数据科学的课程,在课程中会学到统计学、机器学习等的课程,大家也会掌握一些技术方法和代码的写法。

有些同学结合课堂练习,有可能掌握了1-2种的模型。后面遇到的问题,就全往这1-2个模型中套。有些问题是类似的直接套上直接能用,但是实现的问题,更具有多样性和特殊性,要因地制宜的思考解决办法,而不是套用。

在统计学领域中,有非常多的模型,不可能全在课堂上都学到,我们需要私下里努力从而掌握更多的知识。如果只用自己会的技术,就必然导致对于模型结果的偏差。

9. 模型是万能的

模型是万能的:训练一个模型,想让它干什么,它就能干什么。

说到模型,很多人就把模型直接和AI画上等号,以为AI应该是万能的。

当然chatgpt的横空出世,也进一步推升了这样的想法。现在,随着对chatgpt的熟悉,我们也发现了,在通用领域有大量的使用场景,但在专业领域还是需要专业模型。

因此,模型不是万能的,一个模型也只能解决一类的问题,如果想让他万能,就多种一些有效的专业模型,形成模型集群吧。

9. 模型应该是不花钱的

模型应该是不花钱的:既想马而跑得快,又想马儿不吃草。

训练一个模型有着巨大的成本开销,包括是高级人才的成本,服务器算力的成本,数据采集的成本,数据存储的成本,数据标记的成本等等。

人才是最宝贵,掌握核心技术的人才,可以真的让我们梦想成真。但奇葩的是,国内大部分信息化项目,人都按外包成本算,按岁数划分人头的成本,设备和数据都比人值钱。

如果要想在人把成本拉平,就需要多多的报人头。为啥科技含量这么高的项目,人这么不值钱呢。

10. 既要..又要..也要..还要

当一个模型被赋予了诸多的使命时,做出来是个四不像,谁都想用,谁都用不起来,那么这个项目必然会失败。

甲方客户,通常都有很多的需求。

  • 既要模型准,又要速度快,也要使用简单,还要成本低。
  • 既要解决业务问题,又要能模型自己能学业务逻辑,也要能说数据进行预警,还要对未来公司战略给出建议。
  • 既要服务于一线工作人员解决业务落地,又要服务于公司运营能自己出完美绩效报表,也要智能设计公司宣传文案,还要自动生成给领导汇报的材料。

一个做了数据分析多年的老兵,自我发出一些感慨!

数据分析是一件很有价值的事情,但是我们也有太多的枷锁需要去克服。希望2025年,数据分析师们,用专业创造未来。争取有点时间,写个数据分析的系列出来!

转载请注明出处:
http://blog.fens.me/data-analysis-factor-top9/

打赏作者