Blog Archives

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。

从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。

架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。

关于作者：

• 张丹(Conan), 程序员R,Nodejs,Java
• weibo：@Conan_Z
• blog: http://blog.fens.me
• email: bsspirit@gmail.com

转载请注明出处：
http://blog.fens.me/architect-algorithm/

前言

近年来，随着大数据的飞跃式的发展，已经越来越深地开始影响到我们的生活，社交有腾讯大数据，购物有阿里大数据，搜索有百度大数据，出行有滴滴大数据等等。当数据越来越多地被积累，就需要算法来挖掘出数据的价值。特别是进入到大数据时代，算法显得越来越重要。

让死的数据变得有价值，就是算法的力量。进入到全民大数据的时代后，数据已经不再是门槛儿，最重要的是算法，算法才是真正能够创造生产力的地方。算法工程师的价值也会越来越大，但是你们真的发掘出来你们的价值了吗？

目录

1. 算法在各个行业的应用
2. 投身于哪个行业好？
3. 金融最靠谱

1. 算法在各个行业的应用

大数据的兴起冲击着各行各业，带来机遇也带来挑战，没有数据你就没有核心价值。当有了数据作为基础，你要继续需要思考如何让数据变的有价值。过去的2016年的投资市场很惨淡，唯有人工智能大火了一把。从深度挖掘(Deep Learning)技术在图像识别领域的精确识别，迭代决策树(GBDT)在数据挖掘算法比赛中频繁获奖，到AlphaGo在围棋领域打败在人类选手，百度小度机器人在最强大脑的舞台上挑战人类脑王等等，这些事件都是算法领域的突破。

算法，真的已经应用到了各行各业，在慢慢地改变着人们的生活和习惯，比如说图像识别，自动驾驶，用户行为，金融征信，量化投资等领域，都在发生着变化。

图像识别领域，深度学习算法异军突起，不仅可以进行准确的人脸识别、指纹识别，还可以进行复杂的图像对比。我深刻记得，2016年参加的光谷人工智能大会上，听西安电子科技大学公茂果教授分享的“深度神经网络稀疏特征学习与空时影像变化检测”主题，利用图像识别技术，对比汶川地震前后的卫星照片和光感照片，准确地找到了受到地震影响最严重的区域，即震前和震后地貌发生变化最大的区域，快速地为救援队定位到最需要帮助的地点，解救伤者，投放救援物资。

自动驾驶领域，可以通过识别路面的状况来实现自动驾驶、自动停车。Uber无人驾驶汽车已经在匹兹堡上路测试，自动驾驶汽车配备了各式传感器，包括雷达、激光扫描仪以及高分辨率摄像头，以便绘制周边环境的细节。自动驾驶汽车有望改善人类的生活质量，也可挽救数百万人的性命，为人们提供更多的出行方便。5年前，我在听Andrew Ng的斯坦福大学机器学习公开课的时候，就被当时的自动驾驶视频介绍所震撼，科幻电影中的世界就快变成现实了。

用户行为分析，人类有各种各样的行为和需求。衣食住行，吃喝玩乐，都是人的最基本的行为。大多数人的行为是共性的，商家可以收集这些行为数据，通过数据挖掘算法来找到人们行为共性的规律。根据用户的购物行为，商家可以为用户推荐喜欢的商品，这样就有了推荐系统； 根据用户对信息的查询行为，可以发现用户对信息的需求，这样就有了搜索引擎；根据用户位置的变化，可以发现用户的出行需求，这样就有了地图应用；针对用户个性化的行为，可以给用户打上标签，用来标注用户的特征或身份，这样就有了用户画像。用户行为分析，让商家了解用户习惯，同时也让用户了解自己，有巨大的商业价值。

在金融领域也有很多，算法应用的场景。

金融征信领域，传统信贷业务都是银行核心业务，但由于中国人数众多且小客户居多，银行无法负担为小客户服务的高成本，导致民间信贷的兴起。2014年底互联网金融P2P的开始爆发，贷款需求被满足的同时，却暴露出了违约风险。征信体系缺失，导致很多P2P公司坏账率很高，到2016年底P2P跑路的多达数千家。征信需求，变得非常迫切。比如，某个人想买车但现金不够，这时就需要进行贷款。商家给用户进行贷款时，通过信用风险的评级就能判断出这个用户的还款能力，从而来决定给他贷多少钱，以什么周期还款，减少违约风险。支付宝的芝麻信用分，是目前被市场一致认可的信用评分模型。

量化投资领域，我认为这个领域最复杂的，最有挑战性的，同时也是最有意思的。可以通过量化算法模型实现赚钱，是最容易变现的一种方法。在金融投资领域中，有各式各样的数据，反应的各种金融市场的规则，有宏观数据，经济数据，股票数据，债券数据，期货数据，还有新闻数据，情绪数据等等，金融宽客(Quant)通过分析各种各样的数据，判断出国家的经济形势和个股的走势，进行投资组合算法，实现投资的盈利。

看到这里，我想问问大家，你们脑子里那些聪明的想法，有没有被金融行业的魅力撩出些许的荷尔蒙？

2. 投身于哪个行业好？

从上面各个行业的算法应用来说，都有很广阔的应用前景。作为一个算法的研究者，那我们究竟投身到哪个行业更好呢？

这个其实要从多个方面进行考虑，我们的目标是个人价值最大化。那么，你要选择一个自己能够接触到的、完全竞争的、短流程的渠道，利用你的算法技术和对业务的理解实现变现的过程。

其实，满足个人可变现的渠道其实非常有限，你很难通过一个图像识别的算法，直接面向市场进行收钱，你需要有一个承载的产品，而产品研发的过程是非常漫长的。同样地，自动驾驶算法需要汽车生产场商的实验。用户行为分析算法，需要电子商务平台的以用户购买行为进行验证。

量化投资，可以用个人账号在中国二级投资交易市场，完成交易过程。这种方式没有很多的中间环节，你获得交易所的数据，自己编写算法模型，然后用自己的钱去交易，完全自己把握。只要算法有稳定的收益率，你就可以赚到钱。这种变现方法，其实就是量化投资，从金融的角度才是最靠谱的一种变现方法。

3. 金融最靠谱

作为IT人，我们懂编程，懂算法，只要再了解金融市场的规则，就能去金融市场抢钱了。中国的金融二级投资交易市场，是一个不成熟的市场，同时又是情绪化的市场。市场中，每天都存在着大量的交易机会，每天都会有“乌龙指”。量化投资的技术，可以帮助我们发现这些由于信息不对称出现的机会，赚取超额的收益。

那么到底怎么做量化投资呢？。

下面举个例子，一个私募基金，募集了1亿资金准备杀入金融市场。基金经理决定按照投资组合的建模思路，对各类金融资产进行组合配置。下图就反应了各类资产，以均值-方差的标准来创建投资组合，符合资本资产定价模型(CAPM)的原理。关于资本资产定价模型详细介绍，请参考文章R语言解读资本资产定价模型CAPM

图中，x轴为收益率的标准差，y轴为收益率的均值，图中的点构建了可投资区域，每个点代表一个可投资产品，每条虚线连接的点的集合，就是一个有效的投资组合。

对于，图中近百个点来说，假设每次要配置5种资产做投资组合，那么就是75287520种组合方法；如果配置10种资产，可选方案就是一个非常大的数字了。

我可以用R语言来计算一下，投资组合的数量。

# 100个选5个，做组合
> choose(100,5) 
[1] 75287520

# 100个选10个，做组合
> choose(100,10) 
[1] 1.731031e+13

对于金融市场来说，有非常多的金融资产可供我们来选择。中国A股股票有3000多只，基金2000多支， 债券3000多支，期货100多支，还有大综商品，货币市场产品，汇率产品，海外投资市场等。如果把这个多种的资产进行组合，将有无限多的投资组合可以进行选择，是一个无限大的计算量。我们需要利用算法进行组合优化，从而找到市场上最优的投资组合。算法本身，才是最能体现价值的部分。

那么传统的基金是如何进行投资组合的？大多都是靠投资经理的主观投资经验来完成的。在金融市场里，每支基金都配置了不同的资产做组合，我们随便找支基金看看，它的投资组合是如何配置的。比如，华夏成长(000001.OF)基金，它是股债混合型的。数据来源于万得， 2017年2月8日的数据。

从业绩表现来看，这支基金最辉煌的时代在2006-2007年，连续6个月回报101.49%，那么最低1年表现就比较差，为仅落后于沪深300指数，整体排名也都在后面。今年以来收益率0.58%，同类排名144/507；1年收益率-1.45%，同类排名400/487；3年收益11.67%，同类排名378/426；5年收益39.96%，同类排名290/352。

我们再来看一下，这支基金的组合成分，主要是股票和债券。

债券占比 ：

股票占比：

从市场上几千支的股票和债券中进行选择，并配置不同的权重，之前都是基金经理干的活，那么我们用算法一样也可以干，说不定用算法模型构建的组合业绩会更好。如果我们用算法模型，取代了年薪几百万的基金经理，那么你就能够获得这个收益。最终实现个人价值，从而用算法改变命运。所以，通过金融变现才是最靠谱的。

转载请注明出处：
http://blog.fens.me/architect-algorithm/