• Posts tagged "R会议"

Blog Archives

2024 第十七届中国R会 – 数据分析落地的最佳实践

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-r-xagi-20240720

前言

R语言大会一晃已经第十七届了,我好像是从第七届开始参加的,已经10年了。R语言我也使用了10年了,伴随着也让我从程序员变化了数据分析师。每年都要来R语言大会,来分享我的使用经验。

今年又是一个热闹的大会,不仅包括了R语言的内容,又整合了X智能大会,和数据科学国际论坛。

目录

  1. 分享主题:数据分析落地的最佳实践
  2. 会议体验和照片分享

1. 分享主题:数据分析落地的最佳实践

Chatgpt的出现,也让很多的数据分析从业人员感到担忧,什么时候自己会被模型所替代。去年在大模型影响下,很多人都觉得数据分析师会被大模型很快的替代。今年来看,虽然大模型技术更新速度很快,但是对于专业领域数据分析和数据科学的场景,大模型依然有较大难度。

数据分析师,积累了大量的行业经验,这些经验并不是简单靠大模型就能理解,还是需要人工的调优过程,这也说明,数据分析师的知识含金量很高,在这个时代中,我们要进化自己,保持学习的动力,和实际 解决问题的能力,结合chatgpt辅助为我所用,才是时代赋予我们的机会。

我主要为分六个部分进行介绍:

  • 什么是数据落地
  • 数据分析怎么做
  • 调包侠的时代已过
  • 数据分析不只是指标体系、更不是指标堆积!
  • 知识结构在变化,对人的要求越来越高
  • 业务场景千差万别,适应变化

2. 会议体验和照片分享

此次盛会将邀请多位 MVP嘉宾,同时也有微软的员工,大家从不同的角度,把数据如何理解,如何加工,如何使用,如何落地进行阐述,我自己也是收益颇多,看到了不同层面的东西。

我们诚挚地邀请您参加本次活动,深入体验科技与智慧的精彩交融,共同见证AI时代所带来的创新、变革与无限可能。

本次会议官方报名页:第17届中国R会议 & 2024 X 智能大会 & 2024 数据科学国际论坛联合会议

2024.7.20-21 (9:00-17:30) :

线下:中国人民大学逸夫楼、立德楼

线上:学说直播平台

2024.7.22(19:00-21:00):

线上:学说直播平台

2.1 会议主题

我参加在数据科学专场践专场,由 4位行业专家参加:刘思喆(统计之都),kim(明宏投资), 许以言(和鲸科技),张丹(青萌数海), 一起作为分享嘉宾。视频回看:,https://mobile.51xueshuo.com/#/viewLive?planCode=1808151079477710848,我讲的内容在1小时30分开始。

本次会议日程:

活动嘉宾阵容:

Kim, GPU 在量化投资中的优势及应用

个人简介:
Kim ,就职于头部量化私募,负责量化交易低延时,高性能计算系统的有关开发工作。

报告摘要:
2007 年 英伟达发布 CUDA 编程范式以来,经过 17 年的发展,GPU 在算力和显存都已经逐步远超通用 CPU 的能力。量化投资领域一直走在技术的最前沿,原有用 CPU 来进行的高性能计算的程序,也逐步在切换到使用 GPU 来加速的模式。这里将介绍日常工作中 GPU 的应用场景,实际开发中遇到的问题,以及分享 GPU 提升对应业务效率的具体案例。

许以言,面向有组织科研的的模型生命周期管理

个人简介:
许以言,和鲸科技产品专家,专注于数据驱动研究与 AI for Science 场景的数据科学平台产品设计与方法创新,参与了 ModelWhale 数据科学协同平台在气象、地质、遥感、空间科学、临床等众多科研智能领域的落地,对数据智能场景的多角色协同研究流程有独到的见解与丰富的经验积累。

报告摘要:
随着有组织科研的快速发展,数据信息与数据价值正以更高维的形式体现在模型中,数据分析的过程也需要由多领域专家参与其中,本报告将围绕空间数据智能分析场景的模型生命周期管理流程,介绍 ModelOps 方法,并探讨面对交叉领域研究场景,如何通过平台化的工具与社区化的方法支撑有组织科研。

刘思喆,因果推断技术在工业界的实践应用

个人简介:
刘思喆,统计之都理事会成员。先后在彩票、电信、电商、教培、交通、餐饮行业从事算法、数据科学、营销赋能等相关工作。曾任 51Talk 数智中心助理副总裁、首席数据科学家,也曾任京东推荐平台部高级经理 ,京东技术名人堂成员之一。中国人民大学大数据分析实验班、首经贸信息学院校外硕士生导师。国内 R 语言的布道者,21 年的使用经验,《153 分钟学会 R》的作者,《R 语言核心技术手册》的译者。

报告摘要:
本报告围绕工业界中因果推断的核心价值展开,探讨其在产品优化、市场策略调整、供应链管理等业务中的重要性。本报告也将尝试系统梳理常见的因果推断技术,包括随机实验、倾向得分匹配、断点回归分析、合成控制等方法,并探讨它们之间的内在联系、适用场景及其潜在局限。通过剖析企业中的真实业务案例,我们将生动展示,如何利用这些方法提炼出精准的因果洞见,持续赋能企业的高质量决策的完整过程。

张丹,数据分析落地的最佳实践

个人简介:
张丹,R语言实践者,北京青萌数海科技有限公司CTO,微软MVP。10年以上互联网应用架构经验,在R、大数据、数据分析等方面有深厚的积累。精通量化投资交易策略,熟悉中国金融二级市场、交易规则和投研体系。熟悉数据学科方法论,在海关、药监、外汇等监管科技领域均有落地项目。著有《R的极客理想:量化投资篇》、《R的极客理想:工具篇》、《R的极客理想:高级开发篇》,图书英文版被CRC出版集团引进,在美国发行。个人博客:http://fens.me 。

报告摘要:
现在我们正处于大数据时代,处处都产生数据,大部分数据已经不再稀缺,分析方法和算法模型都也写在了教科书中。
如何挖掘出数据的价值,让数据分析落地,把数据价值转换为自身价值,是数据分析师核心要考虑的。
数据分析要解决实际业务场景问题,伪需求、不清晰的目标,都会造成项目失败。数据分析不只是指标体系、更不是指标堆积,市场在变,数据也在变,我们的知识结构也要跟着变化。
数据分析是跨学科的工作,对人的要求也越来越高,调包侠的时代已过。要以新的视角,看数据、看业务、看技术发展、看我们自己,适应变化,才能把项目做好、落地。

2.2 现场照片

主会场的情况:

主会场开始前

主会场听众

本次R会的主席致辞

吴喜之教授

我又听了几场分享:

朱赛赛,同方知网图书工具书与志鉴产品总监,统计数据大模型的应用场景和解决方案的探索与实践

唐飞虎,月之暗面高级研发工程师、开发者关系负责人,长文本应用如何推理加速。

王小宁,现为中国传媒大学数据科学与智能媒体学院副教授,中国商业统计学会理事,智能教育革命:如何借助大语言模型改善统计和数据科学教学。

17年了坚持下来真的不容易,我也从一个R语言的小白,变成一个坚定R语言的实践者。感谢统计之都这个民间组织,感谢人民大学长期的教授的支持。希望R会一直有,年年高水平。

转载请注明出处:
http://blog.fens.me/meeting-r-xagi-20240720

2014全球软件技术峰会WOT:R语言金融数据分析

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹(Conan), 程序员Java,R,PHP,Javascript
  • weibo:@Conan_Z
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-wot-20140726/

wot-r

前言

“高端、大气、上档次” 三个词用在本次会议,再适合不过了。不仅分享嘉宾的干货十足,大会主办方的会议组织工作也是非常到位。

参加过几次的大型分享会议,这是我第一次感觉到主办方对分享嘉宾的关怀!在会议前一天,组织嘉宾的晚宴,让大家提前认识。会议的第一天晚上,又组织嘉宾与听众的见面会,不仅拉近嘉宾的距离,还近了听众的距离。在我印象里,只有国外的主办方才想到做到的事情,WOT主办方51CTO也做到了,一流的组织团队。(我绝对不是托,有什么说什么,我的博客仅代表我的个人立场!)

我非常有幸作为分享嘉宾参加2014年的WOT全球软件技术峰会,分享R语言在金融领域中的使用。

目录

  1. 我的演讲主题:R语言金融数据分析 – 二条均线打天下
  2. 会议体验和照片分享

1. 我的演讲主题:R语言金融数据分析 – 二条均线打天下

R语言金融数据分析,PPT下载,主要内容来自我的一篇博文:二条均线打天下

全场只有我一个讲R的、讲数据分析的、讲金融的、讲跨学科的,总是觉得有些“另类”。不知道,听我分享的同学,有没有达到预期呢?欢迎留言!

我给大家的建议是:“每种技术深入地做到最后,就像在象牙塔里一样,路会越来越窄,同行的人也会越来越少。如果你在BAT这样的超大型的公司,你有机会成为象牙塔里的人,但如果你不是,就不要折磨自己一定进到象牙塔里。其实,你还有其他的选择,找到自己的兴趣方向,跨学科发展的,用已有知识造就只属于自己的技术,同样可以很出色!”

2. 会议体验和照片分享

会议主页:http://wot.51cto.com/2014/index.html

按照时间顺序,简单说明一下,我的参会体验。

2.1 会议邀请

主办方在会议前1个月邀请我 作为分享嘉宾参加WOT会议,介绍R语言相关的内容,分享内容让我自由发挥。当时大部分主题都确定了,基本都是来自国内一线互联网公司的技术解决方案,再看嘉宾名单,都网上经常出现名字的技术大牛,一下子被感压力。

想了2周才确定自己的主题,让我来讲点不一样的东西吧。既然其他嘉宾讲的都是”性能、并发、存储”,那么我来讲讲”金融、算法、赚钱”。其实,选定这个演讲主题,还是有风险的,可能没有受众,造成空场的情况。(事后发现,基本满场,额外还有一些对R和金融感兴趣的同学,私下聊了聊!)

2.2 会前晚宴

主办方在会议前一天,组织嘉宾参加晚宴,让大家相互了解,在会议之前消除陌生感,我觉得这是很有必要的。让嘉宾和组织者就变成一个团队,营造更友好的气氛,让大家在舒服的环境中分享自己的主题。

WOT的创始人熊总,与嘉宾的合照。

_var_mobile_Appl(07-27-13-59-49)

之前参加的其他会议,到了时间,自己讲自己的主题,嘉宾之间近乎没有沟通,完全谁都不认识谁的样子,讲完就完了,完全没有归属感。

所以,51CTO的工作人员想到了做到了,细节决定档次。赞一个!

2.3 数据库技术与应用专场

第一天下午,我听了 “数据库技术与应用专场”,果然纯技术,干货颇多,听得都有点根不上了。

卢亿雷:Admaster高级技术总监
d_1

李志威:陌陌CTO
d_2

崔玉明:腾讯互动娱乐运营部DBA组组长
d_3

杨林:百度云系统部工程师
d_4

许飞飞(花名:顼阳):淘宝资深数据库工程师
d_5

2.4 第一天的社区之晚

富力万丽酒店四层R-LOUNGE酒吧,高档酒吧!参与的听众不多,又成变嘉宾聊天聚会聊天的好场所了。感觉大家都熟悉了!呵呵。

2.5 实时计算与数据分析专场

为了准备我的演讲内容,我听的并不全。只听了第一场Spark On YARN in Hulu 和 第五场基于Spark Graphx的高性能图计算平台,确实给力!

梁宇明:Hulu高级研发主管
d2_1

连城:Intel物联技术研究院研究员,Spark contributor
d2_2

赵修湘:EasyHadoop开源社区创始人之一
d2_3

张丹:粉丝日志博主(这个是我!)
d2_4

明风:淘宝技术部数据挖掘与计算团队负责人(最具艺术范!)
d2_5

图片来自:夏明武老师

最后,感谢51CTO工作人员的辛苦劳动,希望保持高水平会议越办越好!(可惜没有你们的照片!)

转载请注明出处:
http://blog.fens.me/meeting-wot-20140726/

打赏作者

R语言会议2014:R语言与金融大数据应用

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹(Conan), 程序员Java,R,PHP,Javascript
  • weibo:@Conan_Z
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-r-20140525/

r-meeting

前言

R语言会议已经开完一周了,下面就是总结和吐槽的时间了。

随着R语言会议的知名度提高,场面和阵仗开始越来越大,参会人员和演讲嘉宾都比去年多了1倍,2天的会议还有3个分会场,向商业化会议发展,这是必须要肯定的!各路人马分分要求分享知识是好事,但有些嘉宾并没有精心准备,有些在内容上与本次会议也不相关,演讲质量良莠不齐。连续遇到不负责任务的演讲嘉宾,就会感觉浪费时间,会议的牌子也容易砸掉!

目录

  1. 会议现场
  2. 我的演讲主题:R语言与金融大数据应用
  3. 吐槽时间
  4. 会场照片

1. 会议现场

第七届R语言会议于2014年5月24日和25日,在中国人民大学举行,官方网站 http://china-r.org/2014/beijing/。第六届打响了R会议的知名度,得到了各方的认可,第七届的阵仗就更加豪华起来。
不仅参会人员爆棚,还出现了一票难求的情况。演讲嘉宾,也从学术界扩大到了工业界,特别是IT领域。而且还请到了R语言的领军人物 RStudio公司首席科学家 Hadley Wickham,花名“男神”(网友起的)。

主办方“统计之都”提前2个月就在网站上宣传,还单独为R语言会议申请了域名,并制作了网站,现场还有一份长达51页的小册子。看得出同学们的用心!

上午开幕式,会议主席 冷静 同学的致辞,让我震惊于大学生的气场,镇压全场,太棒了!给10个赞!

第一日最精彩的内容,Hadley Wickham,余凯,周明,王汉生,靳志辉,绝对不能错过;胡浩和光大证券,讲讲互联网和金融结合的思路;其他的赞助商就吹吹水,也没啥有用的内容了。

2. 我的主题:R语言与金融大数据应用

我是第二日量化投资场,最后一个演讲的人。我讲的主题为“R语言与金融大数据应用”,PPT下载,同时可以参考我之前的博客文章:用RHive从历史数据中提取逆回购信息

演讲主题来自于我的创业项目,把大数据的处理技术应用于金融领域。主要内容包括,基于Hadoop存储证券的日内交易数据,通过RHive连接R语言与Hive,建立相关性算法模型,在历史数据中回测,构建投资决策组合,并生成可视化结果用于展示。

考虑到投资有风险,特别是在公开场合不宜介绍风险比较大的金融产品。所以,以“逆回购”为案例设计了整套金融大数据应用系统。对于金融玩家来说,“逆回购”确实没有太多的兴趣点,不过重点在于如何运用IT的技术与金融应用相结合。如何写出能赚钱策略,还是私下聊比较稳妥。

本次会议有一个让我很兴奋的事,遇到了创业的同行,微量网。我们似乎在做同样的一件事,相似的创业故事,相似的产品定位。都是同路人,他们的产品已经上线了,而我还在路上,继续努力!坚持!

3. 吐槽时间

上面2段文字,都是非常正面地对会议的肯定,接下来就是吐槽的时间了,不吐不快啊!

吐槽一:可能是我的预期比较高,但本次会议并没有我期望的那么好。

第一日除了上文中提到嘉宾发言内容绝对高质量,从下午开始各种的无营养的发言,就让人觉得差距啊,完全在浪费听众的时间,1000多人的时间呢!

吐槽二:如果表达力有问题,作为嘉宾发言,自爆短处,何苦呢!

第二日,上午在量化投资会场,我是第三个发言,前面的2位演讲者,真是不敢恭维。

第一位,XX网,语言表达能力也太差了,话都说不利索。每句话都是2个字2个字的碰,听着着急。开始还以为是过度紧张,发言30分钟,一直都是这种状态,还要怎么解释呢? 自爆短处,何苦呢!同时,PPT也看不出是精心准备的,听了15分钟我就坐不住了,能不能直接下一个啊!

吐槽三:不懂金融和R语言又无关,怎么就当嘉宾了?

第二位,个人投资者,说自己开发了一套量化交易程序。演讲过程30分里,有25分钟讲得尽是些C语言、CPU、性能等的内容,最后5分钟说了几句用聚类分析股票的数据。这就算是量化投资了吗,太不靠谱了吧!

先不说他的计算机水平好坏,这位个人投资者,完全是不懂金融,只能说在金融领域打打酱油。如果用简单地聚类方法就能赚到钱,那么互联网的人早就去金融市场抢钱了。我相信他的模型,自己都不敢投钱玩。

另外,他提到收集了3T的交易数据,在单机上面计算,程序要优化,CPU要优化。在大数据时代,3T数据量不算什么,用分布式数据处理技术,可以简单地解决他所遇到的问题。不懂金融和R语言又无关,这样也能发言?!听了15分钟我又坐不住了,能不能直接下一个啊!

吐槽四:主办方为了扩大规模,选择嘉宾太不周全,经验不足。

我记得“统计之都”网站,在2个月以前发布R语言会议时,演讲嘉宾需要提前发PPT确认,我是4月23日报名演讲的,5月7日完成的PPT提交。那么既然主办方要求提交 “演讲PPT”,为什么不进行筛选呢? 找懂行的人,读一下PPT内容,就知道嘉宾是否用心,演讲内容是否和本次会议相关。

特别是量化投资场,前言2位嘉宾的发言,已经定下了“被吐槽的基调”,我已然躺着也中枪的感觉。同时由于我的演讲主题是“逆回购”,而前面2位演讲人的铺垫又不给力,会造成不懂金融的人以为金融就是这样的;而懂金融的人就觉得有些水….

各种因素放在一起,有些无奈。只有等到下次再好好表现,才能洗清这次的失误!

4. 会场照片

参会人员大合照

DSC_8337

主席 冷静。

lengjing

Hadley Wickham,男神。

DSC03169

会场照片,摘自统计之都, http://cos.name/2014/06/7th-china-r-beijing-summary/

######################################################
看文字不过瘾,作者视频讲解,请访问网站:http://onbook.me/video
######################################################

转载请注明出处:
http://blog.fens.me/meeting-r-20140525/

打赏作者