• Posts tagged "大数据"

Blog Archives

矩阵数字经济智库专访: 顶层设计决定行业基础

架构师的信仰系列文章,主要介绍我对系统架构的理解,从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始,到架构师一路走来,经历过太多的系统和应用。做过手机游戏,写过编程工具;做过大型Web应用系统,写过公司内部CRM;做过SOA的系统集成,写过基于Hadoop的大数据工具;做过外包,做过电商,做过团购,做过支付,做过SNS,也做过移动SNS。以前只用Java,然后学了PHP,现在用R和Javascript。最后跳出IT圈,进入金融圈,研发量化交易软件。

架构设计就是定义一套完整的程序规范,坚持架构师的信仰,做自己想做的东西。

关于作者:

  • 张丹(Conan), 程序员/Quant: Java,R,Nodejs
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/architect-matrix-interview

前言

受矩阵数字经济智库邀请,做一起对于行业发展的专访。专访的过程,涉及了大数据,区块链,宏观经济,个人转型等多个领域,我也是根据个人的理解,对上述的一些问题做了总结。

2018年,我经历了很多,大病初愈,去了微软总部参观,从从银行的舒适区出来,经历区块链快速下跌的市场,关注金融改革,了解中美贸易的影响,看到国内经济的从乱序到稳定。

总结一句话:2018市场的变化真是太快了,各行各业都缺少顶层设计者。

目录

  1. 专访背景
  2. 如何从技术转型
  3. 量化投资,更需要规范的市场环境
  4. 顶层设计,是行业发展先行条件

1. 专访背景

十年前,银行核心系统的升级改造促进了大数据的积累;十年后,数字化转型的需求使得大数据在各个行业广泛应用。经过十年的数据积累和科技分析能力的提升,金融大数据的分析和应用已经进入到了一个新的层次,金融改变人们的生活,生活也会改变着金融,而大数据已经成为改变人们的生活和金融行为的重要手段和方式,大数据的应用让金融和人们的生活更加了解、互相改进和互相适应。

应矩阵数字经济智库之约,我们邀请到青萌数海CTO张丹,国内顶尖的R语言专家,金融大数据专家,曾在民生银行等金融机构工作,积累了丰富业务经验和对金融数据深刻理解,共同探讨国内大数据的未来发展。官方文章发布地址

2. 如何从技术转型

从最初的编程技术入手,作为国内顶尖的R语言专家,张丹无论在技术水平还是作品产出都居于一线水准。之后进入金融领域做量化投资,而目前主要做数据科学相关的行业研究,发现数据规律。

一路跨界,从IT技术到量化投资再到数据科学,张丹认为当一个人在一个领域取得了很深入的理解,包括技术能力、思维模式、业务思路、整个产业的上下游企业关系等,将知识理解形成系统的方法论,作为基础再进入一个新的领域,也会很快成为新领域的专家。

作为技术出身的张丹,对待新事物的认知往往采取理性的态度。对于目前热议的区块链金融,他认为金融是指银行、证券、信托、保险、基金等金融领域,而区块链金融仅仅是利用币的交易属性进行流通。因此,区块链金融应该是金融业务对区块链的金融支持,而不是颠覆传统金融,单独以区块链为基础的金融。只有当投资银行、商业银行、信托等金额机构,对整个区块链的账户体系,资金流转,信用体系等,提供各种各样的金融服务支撑之后,才能开展基于区块链的金融类型服务。

在谈及自己深入研究的大数据领域时,张丹认为大数据是基于技术领域衍生出来的一个概念,同时也是社会所需要的技术。大数据带来了一次生产力的变革,大数据会成为一个长期的机会。在未来,数据会成为每个人所必须的知识。

当我们以大数据的视角去看待日常的生活时,会为我们带来很多的改变。将大数据结合人工智能、物联网等技术,在多方面可以提高人的工作效率。人工智能领域突破,如AlphaGo,会打破了人类固有的认知,进而形成的新的思维方式,是人类应该学习的。

张丹曾在金融行业设计和开发智能投顾系统,他认为的智能投顾是利用已有的金融市场交易规则和评判标准,帮助外行人做投资决策。而之所以可以这样做,是因为投资方法是建立在西方的现代金融学理论之上的,有固定的规则、评价方法、运作模式且已经得到市场的认可,基于这个市场基础,可以利用算法进行建模,提升收益。但国内推出智能投顾问服务,更多是站在卖方市场,缺少对买方的利益的保障。

3. 量化投资,更需要规范的市场环境

张丹所认为的量化投资是对传统投资的提升,并不能代替传统投资的模式。量化投资应与传统投资相辅相成,量化本身不能量化一切东西,还需要人的思考,用量化的工具进行辅助决策,会极大地提升工作效率。

张丹认为近两年中国市场的管制逐渐加强,使得很多可以通过量化、程序化的交易通道被堵塞,导致量化投资受到政策上的影响和限制,但并不影响量化的决策继续进行。对于数字货币交易市场,还处于鱼龙混杂的时期,区块链生态都面临着洗牌,量化投资可以帮助币市恢复理性。让纯投机的人离场,通过更多的数据指标支撑,重新建立数据货币的秩序。

4. 顶层设计,是行业发展先行条件

当谈及金融大数据的未来时,张丹乐观的认为,金融数据会不断延伸到各行各业,及至个人的生活交易。金融大数据也会衍生出各种的数据,在数据量和数据维度方面不断的进行拓展。金融数据的未来会成为一个机会,在如何把握这样的机会上,张丹认为我们应明确区分金融属性的数据和金融业的数据,在此基础上抓住未来的发展机会。

而对于未来区块链行业发展的方向上,他提出,行业内最需要精英进行顶层设计,技术资源和资本是相对丰富的,但真正能调配这些资源的顶层设计者是难求的。

他通过研究公链上数据的交易行为,来评价公链项目的优劣。每条公链都有自己的使命和独特的性质。公链上数据所呈现的行为,应该是反映这个项目的价值观。通过数据分析验证公链项目的言行一致,是判断公链是否是空气项目的重要标准。

行业的发展瞬息万变,但一个行业的发展离不开站在顶端看世界的人,高瞻远瞩的布局会奠定行业的趋势。未来的大数据和区块链等行业会如何发展,让我们拭目以待。

转载请注明出处:
http://blog.fens.me/architect-matrix-interview

打赏作者

2017河北民族师范学院:大数据时代的变革

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹, 程序员R,Nodejs,Java
  • weibo:@Conan_Z
  • blog:http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-collage-20170617

前言

数据中国“百校工程”项目,是由教育部学校规划建设发展中心,联合曙光信息产业股份有限公司发起的,在全国范围内遴选百所高校,部署集人才培养、科研支撑、行业应用及社会服务于一体的“大数据应用创新中心”,与项目院校共同设立“大数据学院”,完成大数据创新生态体系战略的顶层设计。

我非常有幸能参加这个教育类项目,通过顶层大数据专业课程设计,帮助大学生通过4年的在校学习,理解大数据思维,掌握大数据技术,毕业后成为大数据企业的核心人才。

本次分享主要面向,河北民族师范学院的大数据专业的老师和同学们,介绍了大数据给我们生活方式带来的变革。

目录

  1. 我的演讲主题:大数据时代的变革
  2. 会议体验和照片分享

1. 我的演讲主题:大数据时代的变革

大数据时代的变革,PPT下载,主要内容来自我的一篇博文:大数据时代的变革(未发布)。

本次活动为曙光大数据学院大师巡讲第二期,我主要通过问题的角度,论述大数据时代的变革。

下面9个问题,通常都是学生们开始入门大数据时比较关心的。

  1. 大数据是什么?
  2. 为什么需要大数据?
  3. 大数据解决了什么问题?
  4. 大数据给我们的生活带来了哪些改变?
  5. 大数据需要什么技术?
  6. 我们怎么学大数据的技术?
  7. 如何才能会学大数据的技术?
  8. 学会大数据技术能找到什么样的工作?
  9. 金融大数据是什么?

对于大数据这样的一个新专业来了,很学生学习起来是懵的。就像15年前,大学新开办的的电子商务专业一样。我也不知道电子商务这个是什么,专业怎么学,毕业后会有什么样的出路。现在,看阿里巴巴,京东就知道,什么是电子商务了。

对于本次的分享,我其实也想了解到学生们的疑惑,具体在什么地方!对于大数据的是否有兴趣?学习大数据的动力是什么?基础知识的水平怎么样? 在之后课程体系的设计,会针对学生的困扰,进行适当的方案调整,从而满足难度上和时间上的教学目标的要求。

在这里,不得不赞一下,曙光大数据学院提出的“VIP课程体系”。参考了《华盛顿协议》的教育理念,从顶层设计就很大程度领先于国内的课程设计理念,并结合了国内二本院校的特点,落地实施。

教育理念:

  • 用综合项目的设计建立技术应用全貌概念
  • 建立学习目标导向的强驱动机制
  • 项目难度递进促进知识学习的进阶关系
  • 多维度考核促进学习专注度和学习效果

《华盛顿协议》是工程教育本科专业认证的国际互认协议,1989年,由美国、英国、加拿大、爱尔兰、澳大利亚、新西兰6个国家的工程专业团体发起成立,旨在通过校准、系统的工程教育本科专业认证保证工程教育质量,为工程师资格国际互认奠定基础。《华盛顿协议》所有签约成员均为本国(地区)政府授权的、独立的非政府和专业性团体,目前共有15个正式成员、5个预备成员。

2. 会议体验和照片分享

2017年6月17日早上出发,从北京开车到承德,接近3个小时的路程,不算近。一路上和数据中国项目负责人谢总,一直在聊教育,聊产业,聊人才培养,聊了大数据,聊投资,聊了很多。

本次分享可以说是我一个人的专场了,整个会场大概500人左右,基本坐满。

张丹,主讲人,《R的极客理想》系列图书作者

中科曙光项目负责人,谢欧

现场提问

校园记者采访

与老师们的合照

与同学的们的合照

通过同学们的提问,我收集了很多真实的需求。最后,希望能够把我的经验,分享给渴望学习的同学们。祝同学们在4年的学习中学到真知识,未来的舞台是你们的。

转载请注明出处:
http://blog.fens.me/meeting-collage-20170617

打赏作者

R语言会议2014:R语言与金融大数据应用

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹(Conan), 程序员Java,R,PHP,Javascript
  • weibo:@Conan_Z
  • blog: http://blog.fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-r-20140525/

r-meeting

前言

R语言会议已经开完一周了,下面就是总结和吐槽的时间了。

随着R语言会议的知名度提高,场面和阵仗开始越来越大,参会人员和演讲嘉宾都比去年多了1倍,2天的会议还有3个分会场,向商业化会议发展,这是必须要肯定的!各路人马分分要求分享知识是好事,但有些嘉宾并没有精心准备,有些在内容上与本次会议也不相关,演讲质量良莠不齐。连续遇到不负责任务的演讲嘉宾,就会感觉浪费时间,会议的牌子也容易砸掉!

目录

  1. 会议现场
  2. 我的演讲主题:R语言与金融大数据应用
  3. 吐槽时间
  4. 会场照片

1. 会议现场

第七届R语言会议于2014年5月24日和25日,在中国人民大学举行,官方网站 http://china-r.org/2014/beijing/。第六届打响了R会议的知名度,得到了各方的认可,第七届的阵仗就更加豪华起来。
不仅参会人员爆棚,还出现了一票难求的情况。演讲嘉宾,也从学术界扩大到了工业界,特别是IT领域。而且还请到了R语言的领军人物 RStudio公司首席科学家 Hadley Wickham,花名“男神”(网友起的)。

主办方“统计之都”提前2个月就在网站上宣传,还单独为R语言会议申请了域名,并制作了网站,现场还有一份长达51页的小册子。看得出同学们的用心!

上午开幕式,会议主席 冷静 同学的致辞,让我震惊于大学生的气场,镇压全场,太棒了!给10个赞!

第一日最精彩的内容,Hadley Wickham,余凯,周明,王汉生,靳志辉,绝对不能错过;胡浩和光大证券,讲讲互联网和金融结合的思路;其他的赞助商就吹吹水,也没啥有用的内容了。

2. 我的主题:R语言与金融大数据应用

我是第二日量化投资场,最后一个演讲的人。我讲的主题为“R语言与金融大数据应用”,PPT下载,同时可以参考我之前的博客文章:用RHive从历史数据中提取逆回购信息

演讲主题来自于我的创业项目,把大数据的处理技术应用于金融领域。主要内容包括,基于Hadoop存储证券的日内交易数据,通过RHive连接R语言与Hive,建立相关性算法模型,在历史数据中回测,构建投资决策组合,并生成可视化结果用于展示。

考虑到投资有风险,特别是在公开场合不宜介绍风险比较大的金融产品。所以,以“逆回购”为案例设计了整套金融大数据应用系统。对于金融玩家来说,“逆回购”确实没有太多的兴趣点,不过重点在于如何运用IT的技术与金融应用相结合。如何写出能赚钱策略,还是私下聊比较稳妥。

本次会议有一个让我很兴奋的事,遇到了创业的同行,微量网。我们似乎在做同样的一件事,相似的创业故事,相似的产品定位。都是同路人,他们的产品已经上线了,而我还在路上,继续努力!坚持!

3. 吐槽时间

上面2段文字,都是非常正面地对会议的肯定,接下来就是吐槽的时间了,不吐不快啊!

吐槽一:可能是我的预期比较高,但本次会议并没有我期望的那么好。

第一日除了上文中提到嘉宾发言内容绝对高质量,从下午开始各种的无营养的发言,就让人觉得差距啊,完全在浪费听众的时间,1000多人的时间呢!

吐槽二:如果表达力有问题,作为嘉宾发言,自爆短处,何苦呢!

第二日,上午在量化投资会场,我是第三个发言,前面的2位演讲者,真是不敢恭维。

第一位,XX网,语言表达能力也太差了,话都说不利索。每句话都是2个字2个字的碰,听着着急。开始还以为是过度紧张,发言30分钟,一直都是这种状态,还要怎么解释呢? 自爆短处,何苦呢!同时,PPT也看不出是精心准备的,听了15分钟我就坐不住了,能不能直接下一个啊!

吐槽三:不懂金融和R语言又无关,怎么就当嘉宾了?

第二位,个人投资者,说自己开发了一套量化交易程序。演讲过程30分里,有25分钟讲得尽是些C语言、CPU、性能等的内容,最后5分钟说了几句用聚类分析股票的数据。这就算是量化投资了吗,太不靠谱了吧!

先不说他的计算机水平好坏,这位个人投资者,完全是不懂金融,只能说在金融领域打打酱油。如果用简单地聚类方法就能赚到钱,那么互联网的人早就去金融市场抢钱了。我相信他的模型,自己都不敢投钱玩。

另外,他提到收集了3T的交易数据,在单机上面计算,程序要优化,CPU要优化。在大数据时代,3T数据量不算什么,用分布式数据处理技术,可以简单地解决他所遇到的问题。不懂金融和R语言又无关,这样也能发言?!听了15分钟我又坐不住了,能不能直接下一个啊!

吐槽四:主办方为了扩大规模,选择嘉宾太不周全,经验不足。

我记得“统计之都”网站,在2个月以前发布R语言会议时,演讲嘉宾需要提前发PPT确认,我是4月23日报名演讲的,5月7日完成的PPT提交。那么既然主办方要求提交 “演讲PPT”,为什么不进行筛选呢? 找懂行的人,读一下PPT内容,就知道嘉宾是否用心,演讲内容是否和本次会议相关。

特别是量化投资场,前言2位嘉宾的发言,已经定下了“被吐槽的基调”,我已然躺着也中枪的感觉。同时由于我的演讲主题是“逆回购”,而前面2位演讲人的铺垫又不给力,会造成不懂金融的人以为金融就是这样的;而懂金融的人就觉得有些水….

各种因素放在一起,有些无奈。只有等到下次再好好表现,才能洗清这次的失误!

4. 会场照片

参会人员大合照

DSC_8337

主席 冷静。

lengjing

Hadley Wickham,男神。

DSC03169

会场照片,摘自统计之都, http://cos.name/2014/06/7th-china-r-beijing-summary/

######################################################
看文字不过瘾,作者视频讲解,请访问网站:http://onbook.me/video
######################################################

转载请注明出处:
http://blog.fens.me/meeting-r-20140525/

打赏作者