• Posts tagged "数据分析"

Blog Archives

2024 第十七届中国R会 – 数据分析落地的最佳实践

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-r-xagi-20240720

前言

R语言大会一晃已经第十七届了,我好像是从第七届开始参加的,已经10年了。R语言我也使用了10年了,伴随着也让我从程序员变化了数据分析师。每年都要来R语言大会,来分享我的使用经验。

今年又是一个热闹的大会,不仅包括了R语言的内容,又整合了X智能大会,和数据科学国际论坛。

目录

  1. 分享主题:数据分析落地的最佳实践
  2. 会议体验和照片分享

1. 分享主题:数据分析落地的最佳实践

Chatgpt的出现,也让很多的数据分析从业人员感到担忧,什么时候自己会被模型所替代。去年在大模型影响下,很多人都觉得数据分析师会被大模型很快的替代。今年来看,虽然大模型技术更新速度很快,但是对于专业领域数据分析和数据科学的场景,大模型依然有较大难度。

数据分析师,积累了大量的行业经验,这些经验并不是简单靠大模型就能理解,还是需要人工的调优过程,这也说明,数据分析师的知识含金量很高,在这个时代中,我们要进化自己,保持学习的动力,和实际 解决问题的能力,结合chatgpt辅助为我所用,才是时代赋予我们的机会。

我主要为分六个部分进行介绍:

  • 什么是数据落地
  • 数据分析怎么做
  • 调包侠的时代已过
  • 数据分析不只是指标体系、更不是指标堆积!
  • 知识结构在变化,对人的要求越来越高
  • 业务场景千差万别,适应变化

2. 会议体验和照片分享

此次盛会将邀请多位 MVP嘉宾,同时也有微软的员工,大家从不同的角度,把数据如何理解,如何加工,如何使用,如何落地进行阐述,我自己也是收益颇多,看到了不同层面的东西。

我们诚挚地邀请您参加本次活动,深入体验科技与智慧的精彩交融,共同见证AI时代所带来的创新、变革与无限可能。

本次会议官方报名页:第17届中国R会议 & 2024 X 智能大会 & 2024 数据科学国际论坛联合会议

2024.7.20-21 (9:00-17:30) :

线下:中国人民大学逸夫楼、立德楼

线上:学说直播平台

2024.7.22(19:00-21:00):

线上:学说直播平台

2.1 会议主题

我参加在数据科学专场践专场,由 4位行业专家参加:刘思喆(统计之都),kim(明宏投资), 许以言(和鲸科技),张丹(青萌数海), 一起作为分享嘉宾。视频回看:,https://mobile.51xueshuo.com/#/viewLive?planCode=1808151079477710848,我讲的内容在1小时30分开始。

本次会议日程:

活动嘉宾阵容:

Kim, GPU 在量化投资中的优势及应用

个人简介:
Kim ,就职于头部量化私募,负责量化交易低延时,高性能计算系统的有关开发工作。

报告摘要:
2007 年 英伟达发布 CUDA 编程范式以来,经过 17 年的发展,GPU 在算力和显存都已经逐步远超通用 CPU 的能力。量化投资领域一直走在技术的最前沿,原有用 CPU 来进行的高性能计算的程序,也逐步在切换到使用 GPU 来加速的模式。这里将介绍日常工作中 GPU 的应用场景,实际开发中遇到的问题,以及分享 GPU 提升对应业务效率的具体案例。

许以言,面向有组织科研的的模型生命周期管理

个人简介:
许以言,和鲸科技产品专家,专注于数据驱动研究与 AI for Science 场景的数据科学平台产品设计与方法创新,参与了 ModelWhale 数据科学协同平台在气象、地质、遥感、空间科学、临床等众多科研智能领域的落地,对数据智能场景的多角色协同研究流程有独到的见解与丰富的经验积累。

报告摘要:
随着有组织科研的快速发展,数据信息与数据价值正以更高维的形式体现在模型中,数据分析的过程也需要由多领域专家参与其中,本报告将围绕空间数据智能分析场景的模型生命周期管理流程,介绍 ModelOps 方法,并探讨面对交叉领域研究场景,如何通过平台化的工具与社区化的方法支撑有组织科研。

刘思喆,因果推断技术在工业界的实践应用

个人简介:
刘思喆,统计之都理事会成员。先后在彩票、电信、电商、教培、交通、餐饮行业从事算法、数据科学、营销赋能等相关工作。曾任 51Talk 数智中心助理副总裁、首席数据科学家,也曾任京东推荐平台部高级经理 ,京东技术名人堂成员之一。中国人民大学大数据分析实验班、首经贸信息学院校外硕士生导师。国内 R 语言的布道者,21 年的使用经验,《153 分钟学会 R》的作者,《R 语言核心技术手册》的译者。

报告摘要:
本报告围绕工业界中因果推断的核心价值展开,探讨其在产品优化、市场策略调整、供应链管理等业务中的重要性。本报告也将尝试系统梳理常见的因果推断技术,包括随机实验、倾向得分匹配、断点回归分析、合成控制等方法,并探讨它们之间的内在联系、适用场景及其潜在局限。通过剖析企业中的真实业务案例,我们将生动展示,如何利用这些方法提炼出精准的因果洞见,持续赋能企业的高质量决策的完整过程。

张丹,数据分析落地的最佳实践

个人简介:
张丹,R语言实践者,北京青萌数海科技有限公司CTO,微软MVP。10年以上互联网应用架构经验,在R、大数据、数据分析等方面有深厚的积累。精通量化投资交易策略,熟悉中国金融二级市场、交易规则和投研体系。熟悉数据学科方法论,在海关、药监、外汇等监管科技领域均有落地项目。著有《R的极客理想:量化投资篇》、《R的极客理想:工具篇》、《R的极客理想:高级开发篇》,图书英文版被CRC出版集团引进,在美国发行。个人博客:http://fens.me 。

报告摘要:
现在我们正处于大数据时代,处处都产生数据,大部分数据已经不再稀缺,分析方法和算法模型都也写在了教科书中。
如何挖掘出数据的价值,让数据分析落地,把数据价值转换为自身价值,是数据分析师核心要考虑的。
数据分析要解决实际业务场景问题,伪需求、不清晰的目标,都会造成项目失败。数据分析不只是指标体系、更不是指标堆积,市场在变,数据也在变,我们的知识结构也要跟着变化。
数据分析是跨学科的工作,对人的要求也越来越高,调包侠的时代已过。要以新的视角,看数据、看业务、看技术发展、看我们自己,适应变化,才能把项目做好、落地。

2.2 现场照片

主会场的情况:

主会场开始前

主会场听众

本次R会的主席致辞

吴喜之教授

我又听了几场分享:

朱赛赛,同方知网图书工具书与志鉴产品总监,统计数据大模型的应用场景和解决方案的探索与实践

唐飞虎,月之暗面高级研发工程师、开发者关系负责人,长文本应用如何推理加速。

王小宁,现为中国传媒大学数据科学与智能媒体学院副教授,中国商业统计学会理事,智能教育革命:如何借助大语言模型改善统计和数据科学教学。

17年了坚持下来真的不容易,我也从一个R语言的小白,变成一个坚定R语言的实践者。感谢统计之都这个民间组织,感谢人民大学长期的教授的支持。希望R会一直有,年年高水平。

转载请注明出处:
http://blog.fens.me/meeting-r-xagi-20240720

2024 MS Build Post AI day – 数据分析落地的最佳实践

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-post-ai-day-20240615

前言

微软的2024 AI DAY大会刚结束第二天,继续 POST AI DAY 继续知识分享。虽然 AIGC 已经火遍了大半个世界,但是在中国做 AI 要做落地,直接用到大模型还是有一定困难。大模型,还是不是仅仅停留在概念上,大多数人都是看热闹,那么解决现有数据问题,就需要有实际的落地的方法。

本次分享就以我的实际经验,介绍数据分析落地的最佳实践。

目录

  1. 分享主题:数据分析落地的最佳实践
  2. 会议体验和照片分享

1. 分享主题:数据分析落地的最佳实践

现在我们正处于大数据时代,处处都产生数据,大部分数据已经不在稀缺,分析方法和算法模型都也写在了教课书中。如何挖掘出数据的价值,让数据分析落地,把数据价值转换为业务价值,是数据分析师核心要考虑的。

Chatgpt的出现,也让很多的数据分析从业人员感到担忧,什么时候自己会被模型所替代。这些担心是时代的机遇,让chatgpt辅助为我所用,还是挑战,直接可以我们替代。

数据分析要解决实际业务场景问题,伪需求、不清晰的目标,都会造成项目失败。数据分析不只是指标体系、更不是指标堆积,市场在变,数据也在变,我们的知识结构也要跟着变化。数据分析对人的要求也越来越高,调包侠的时代已过。以新的视角,看数据、看业务、看我们自己,适应变化,才能把项目落地。

我主要为分六个部分进行介绍:

  • 什么是数据落地
  • 数据分析怎么做
  • 调包侠的时代已过
  • 数据分析不只是指标体系、更不是指标堆积!
  • 知识结构在变化,对人的要求越来越高
  • 业务场景千差万别,适应变化

2. 会议体验和照片分享

此次盛会将邀请多位 MVP嘉宾,同时也有微软的员工,大家从不同的角度,把数据如何理解,如何加工,如何使用,如何落地进行阐述,我自己也是收益颇多,看到了不同层面的东西。

我们诚挚地邀请您参加本次活动,深入体验科技与智慧的精彩交融,共同见证AI时代所带来的创新、变革与无限可能。

时间:2024年06月15日 12:30 – 17:50
地点:北京市中关村丹棱街5号微软亚洲研究院 1号楼 1楼 故宫厅

本次会议官方报名页:Post Microsoft Build and AI Day 北京开发者日

2.1 会议主题

在大模型产业实践专场-2专场活动,由 4位行业专家参加:姚凯、殷磊、张丹、高天辰 一起作为分享嘉宾。视频回看:,https://live.csdn.net/room/MicrosoftReactor/CfdpkiN8,我讲的内容在4小时14分钟开始。

本次会议日程:

活动嘉宾阵容:

 

2.2 现场照片

现场所有嘉宾MVP和微软人员的合照。

MVP的合照

现场的观众

周鹏飞(主持人)

卢建辉

白海石

余兴林

占冰强

徐晔

周徐萍

张丹

衣明志

 

人人都有收获,活动圆满成功。同时,感谢MVP活动的霸姐支持。

转载请注明出处:
http://blog.fens.me/meeting-post-ai-day-20240615

2024 湖北工业大学宣讲:企业中数据分析怎么做

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-hbut-20240321

前言

本次分享的初衷,一方面是为了给马上就毕业的同学,说说企业中如何做数据分析;另一方面,我作为企业负责人一直招不到合适的人才,也是非常难受。如果能把实际工作中遇到的问题,提前让向面临毕业学生知道,提前做好知识储备。那么,找工作也就没那么难了,同时招人也会顺畅起来,是一种双赢的局面。

本次分享其实是,企业和学生双向奔赴的一个实践活动,但由于多种原因,没能亲自到现场,略有遗憾。

目录

  1. 分享主题:企业中数据分析怎么做
  2. 会议体验和照片分享

1. 分享主题:企业中数据分析怎么做

现在我们正处于大数据时代,处处都产生数据,大部分数据已经不在稀缺,分析方法和算法模型都也写在了教课书中。
如何挖掘出数据的价值,让数据分析落地,把数据价值转换为业务价值,是数据分析师核心要考虑的。

数据分析要解决实际业务场景问题,伪需求、不清晰的目标,都会造成项目失败。数据分析不只是指标体系、更不是指标堆积,市场在变,数据也在变,我们的知识结构也要跟着变化。
数据分析对人的要求也越来越高,调包侠的时代已过。以新的视角,看数据、看业务、看我们自己,适应变化,才能把项目落地。

我主要为分三个部分进行介绍:

  • 什么是数据落地
  • 数据分析怎么做
  • 调包侠的时代已过
  • 企业需要什么样的人

2. 会议体验和照片分享

湖北工业大学创建于1952年,是一所以工学为主,经济学、法学、教育学、文学、理学、医学、管理学、艺术学、交叉学科等十大学科门类协调发展的多科性大学,是湖北省“双一流”建设高校、国家“中西部高校基础能力建设工程”高校、全国毕业生就业典型经验高校、全国深化创新创业教育改革示范高校、国家知识产权试点高校、国家“赋予科研人员职务科技成果所有权或长期使用权试点单位”、首批国家级现代产业学院建设单位、全国文明校园先进学校。

本次主要听从对象,面临找工作的(大三、大四、研究生),专业:数学,统计学,计算机,人数:50人,时长:1小时。
日期:2024年3月21日 15:00-16:00,远程腾讯会议。

我使用腾讯会议,远程进行的分享。

现场集中注意听课的同学们

我们企业中的实际数据分析工作,向同学们做了介绍,也希望同学们未来能够收获理想的工作。

转载请注明出处:
http://blog.fens.me/meeting-hbut-20240321

2017微软MVP:在AWS上部署免费的Shiny应用

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹, 程序员R,Nodejs,Java
  • weibo:@Conan_Z
  • blog:http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-mvp-20170723

前言

第一次参加微软的技术日活动,感觉微软已经变得开放了,已不是10年前我所印象的对开源很敌对的微软了。在微软的会场,我主要介绍的是开源技术R语言。

本次的我的主题是AWS和Shiny,Shiny是R语言中一个“神级”的,绝对是好东西;而AWS为全球的开发者提供了免费的服务器,值得赞赏。把这两个好的东西结合在一起,就是一个很好的业务模式,可以极大的帮助个人开发者,来发布自己的作品或产品。

本次所分享的内容为一个实战案例,你可以跟着我的操作,重现我所讲的总有内容。错过沙龙的同学,也可以在天善社区的网站上找到分享的内容。

目录

  1. 我的演讲主题:在AWS上部署免费的Shiny应用
  2. 会议体验和照片分享

1. 我的演讲主题:在AWS上部署免费的Shiny应用

在AWS上部署免费的Shiny应用,PPT下载,主要内容来自我的一篇博文:在AWS上部署免费的Shiny应用

分享主题的目录大纲如下:

  1. Shiny是什么?
  2. 本地开发一个Shiny小应用
  3. 申请AWS免费服务器
  4. 在AWS上安装R语言环境
  5. 在AWS上安装Shiny Server
  6. 在AWS上部署自己的Shiny应用
  7. 番外篇

前6个目录都是正常的技术,番外篇,其实是比较有意思的一个内容。原本我是准备把一个基于赌场原型的Shiny应用放到互联网,考虑服务器位置和选型的问题,无意中发现了AWS的免费资源,这样就有了这样的一篇Shiny与AWS结合的文章。

提问环节时,同学们很热列问了不少的R和Shiny的问题。真的希望大家,动手试一下,R语言一定会给你很棒的体验的。

分享结束后,和几位现场的朋友,聊了中国市场环境与发展机会。感觉到各行各业的人,都体会到了大数据所带来的变化,准备进行大数据的市场,获得更多的商业机会。我觉得中国是有大数据土壤的,而且环境在变好,有越来越多的机会,给留我们去创新和发展。

同时,我也在致力于推动R语言在中国金融领域的发展,让R可以给更多的用户使用,培养出更多的数据分析师。也希望让我们中国人的技术能够走出去到世界的舞台。希望多能认识志同道合的朋友,一起做一些事情。

2. 会议体验和照片分享

本次由5个主题组成,主要是微软的产品技术介绍,毕竟是在人家的主场。

本次微软MVP参加分享的5位嘉宾,主持人 和 微软MVP项目负责人介绍:

吕品,活动介绍 & 现场主持
天善智能联合创始人,微软MVP

Christina,主题:微软项目介绍
China MVP Community Manager

张丹,主题:在AWS上部署免费的Shiny应用,PPT下载
《R的极客理想》系列图书作者,前况客创始人兼CTO。12年IT编程背景,精通R ,Java, Nodejs 编程,获得10项SUN及IBM技术认证。著有《R的极客理想-工具篇》、《R的极客理想-高级开发篇》,合著《数据实践之美》,新书《R的极客理想-量化投资篇》。

刘凯,主题:PowerBI高阶分析:高阶预测分析;DAX万能组合函数的高级应用
IMA中国教育委员会认证讲师,擅长业财融合背景下的数据整合和运营财务分析。曾任职于4A的奥美互动咨询和四大中的KPMG毕博管理咨询,服务于海尔金控等多家客户。

宋卫东,主题:数据仓库运维那些事
从事商业智能数据仓库方向11年,就职某汽车公司,负责数据仓库和大数据等项目。

李奇,主题:Excel BI:无所不能的业务数据分析利器
中国电子表格应用大会主席、曾任职于IBM及德勤会计师事务所,从事业务分析及数据分析咨询工作,Excel BI培训讲师、擅长用Excel创建商业智能报表。

宋沄剑,主题:亿级SQL Server运维的n个最佳实践,PPT下载
微软DataPlatform MVP(since 2012),目前就职于易车网,负责易车数据库与基于Apache生态圈的大数据平台的运维。曾任数据库高级顾问,帮助国内多家客户设计高可用/灾备方案,监控方案、运维自动化方案,并处理SQL Server企业应用实施、日常管理中常见的棘手问题。曾翻译包括SQLServer、PowerShell、Python在内的多本技术书籍,个人技术博客在国内最大的微软社区排名考前,曾多次在数据库大会、Teched、Ignite上分享经验。

嘉宾在分享的照片。

张丹

刘凯

李奇

Christina

宋卫东

宋沄剑

2.2 会议相关照片

本次的场地在微软的北京研发中心,忍不住要说会场很棒,不差钱就是好,干净、整齐、大方。

现场照片

大合照

沙龙很成功,感谢天善社区的工作人员,微软主办方的工作人员,IT大咖说直播的工作人员,大家都辛苦了!祝高质的沙龙,在北京越办越好,让无数有理想的年轻人,能开阔眼界,了解行业动态,推动知识的进步。

转载请注明出处:
http://blog.fens.me/meeting-mvp-20170723

打赏作者

2017猎奇金融大数据:用R语言开始量化投资

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹, 程序员R,Nodejs,Java
  • weibo:@Conan_Z
  • blog:http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-cda-20170521

前言

很高兴能够参加由CDA主办的数据分析师线下沙龙的活动,虽然活动规模不大,但是场子很棒,氛围很好。刚好这次沙龙是金融大数据的主题,也是为了给我的新书《R的极客理想-量化投资篇》预热,给大家分享一下R语言在量化投资领域的应用。

本次所分享的内容为我的新书开篇内容,干货多多,错过沙龙的同学,可以在CDA的网站上找到分享的内容。

目录

  1. 我的演讲主题:用R语言开始量化投资
  2. 会议体验和照片分享

1. 我的演讲主题:用R语言开始量化投资

用R语言开始量化投资,PPT下载,主要内容来自我的一篇博文:用R语言开始量化投资

分享主题的目录大纲如下:

  1. 为什么用R语言?
  2. 跨界结合的思维模式
  3. R语言量化工具包
  4. 量化策略实战应用
  5. 有理想的极客

分享结束后,和几个现场的朋友,在聊R语言的大方向,大家都觉得R语言有很大的机会,只是R语言应该如何落地呢?我觉得有很多的点和方向可以做。比如:培训教育,用R来替换SAS,R的企业服务,R的SAAS的个人服务等。

我就在致力于推动R语言在中国金融领域的发展,让R可以给更多的用户使用,培养出更多的数据分析师。也希望让我们中国人的技术能够走出去到世界的舞台。希望多能认识志同道合的朋友,一起做一些事情。

2. 会议体验和照片分享

本次由4个主题组成,主要介绍了金融大数据在国内的应用情况。本次的场地是由科技寺提供的,忍不住还要再说一够场面很棒,如果再能配上咖啡就更好了。

本次猎奇金融大数据专场4位嘉宾:

鲁四海,主题:大数据风控。
中国新一代IT产业推进联盟技术分委会秘书长、首席数据官联盟发起人。主要研究方向为大数据,参与编写了《影响中国大数据产业进程100人》,在中国新IT联盟、北达软讲授大数据技术应用课程。

张丹,主题:如何用R语言开始量化投资。
《R的极客理想》系列图书作者,前况客创始人兼CTO。10年IT编程背景,精通R ,Java, Nodejs 编程,获得10项SUN及IBM技术认证。

于洋,主题:金融大数据运营增长创新案例。
TalkingData增长部门总监,曾加入金山从事游戏数据分析及运营,2012年加入TalkingData,历任游戏业务咨询总监,金融业务咨询总监,现从事在零售,金融,航旅等方向的数据营销,运营及增长创新业务。

李金霞,主题:实战案例:数据驱动下的互联网营销。
神策数据数据分析师,曾就职于民生银行、百度人才、飞信,负责数据处理相关工作。2016年加入神策数据,主导客户包括纷享销客、网易七鱼、ofo、拉钩云人事、多盟等。

嘉宾在分享的照片。

曹鑫,主持人。

张丹,《R的极客理想》系列图书作者

鲁四海,

于洋,

李金霞,美女分析师

2.2 会议相关照片

本次分享的场地,很有特色,宽敞、明亮、很有创意、很舒服,像是咖啡厅,开放式的办公环境,很棒!

很意外地获得了一个CDA给的奖杯,收藏一下。

沙龙很成功,感谢工作人员的辛苦劳动组织。在北京以数据为主题的沙龙,并不是太多,祝CDA的活动能一直坚持品质,越办越好!

转载请注明出处:
http://blog.fens.me/meeting-cda-20170521

打赏作者