跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。
关于作者
- 张丹,分析师/程序员/Quant: R,Java,Nodejs
- blog: http://fens.me
- email: bsspirit@gmail.com
转载请注明出处:
http://blog.fens.me/meeting-ms-virtual-community-day-20201203
前言
由于疫情在全球肆虐,原来线下的各种会议都改成了线上的模式。微软及时做了线上的分享的调整,这次有幸参加微软的Virtual Community Day,做一次数据分析的主题演讲。除了我的分享,其他人都是.Net和Azure的主题,希望听众能接受这种跨领域的内容。
目录
- 我分享的主题:异常检测算法-自动发现数据中的异常值
- 会议体验和照片分享
1. 我分享的主题:异常检测算法-自动发现数据中的异常值
在处理时间序列数据时,经常会观测数据中有一个或几个数值与其他数值相比差异较大,或者在周期型的数据中出现了与周期性不相符的数据分布。通过异常检测算法,可以对不匹配预期的模式或异常数据进行识别,自动发现数据中的离群值、噪声值、偏差值等。
我分享主题:数据分析领域正在发生的变革
数据分析,作为大数据和人工智能的一个分支,正在各领域中发挥着作用。异常检测就是一种常见的,而且落地的一个AI的应用场景。本次我的分享也是从4个方面进行介绍,本次分享的PPT下载。
我主要为分四个部分进行介绍:
- 什么是异常检测?
- 异常检测算法介绍
- R语言算法实现
- 现实场景应用
异常检测(Anomaly detection)是目前时序数据分析最成熟的应用之一,从正常的时间序列中识别不正常的事件或行为的过程。
常见的应用场景包括
- 金融领域:从金融数据中识别”欺诈案例“,如识别信用卡申请欺诈、虚假信贷等;
- 网络安全:从流量数据中找出”入侵者“,并识别新的网络入侵模式;
- 电商领域:从交易数据中识别”恶意买家“,如羊毛党、恶意刷屏团伙;
- 生态灾难预警:基于对风速、降雨量、气温等指标的预测,判断未来可能出现的极端天气;
- 工业界:可通过异常检测手段进行工业产品的瑕疵检测,代替人眼进行测量和判断。
举例说明一下,下图就是一组时间序列数据,这些数据有趋势型的、周期型的、平稳型型的,蓝色的线是正常的数据,红色的点代表异常的数据。
- 左上1图是趋势型的,红色的点,在数据趋势变动的过程中,出现了一种凸起。
- 左下1图是平稳型的,红色的点,在数据点突然的变大,导致数据不平稳了。
- 左下2图是周期型的,红色的点,出现的位置都是反周期的,导致数据局部反周期的异常。
这些数据异常的情况,在我们的现实生活中会经常的发生,通过算法来自动识别这样的异常,就可以大大解放人的工作,从而实现AI驱动。
2. 会议体验和照片分享
Virtual Azure Community Day全球直播又来啦,本次大会的官方页面:https://azureday.community/, 微信公众号地址:https://mp.weixin.qq.com/s/L2xDf1JIZsHYwJyEZ0wejA
2.1 会议主题
会议主题:从10:00开始 到 17:15,连续不间断。
2.2 相关照片
我在进行分享时候的屏幕截图,CSDN直播 热度1w 不知道是一个什么水平。
最后,整个分享结束,各位嘉宾都辛苦啦。
微软在越来越放开,融合各种技术,并且自己也在支持多种技术的融合和创新。同时,R语言做为数据分析的主要语言,一定会在各个领域中大有可为。
最后打个小广告:公司招聘!
转载请注明出处:
http://blog.fens.me/meeting-ms-virtual-community-day-20201203