• Posts tagged "Data"

Blog Archives

2024 MS Build Post AI day – 数据分析落地的最佳实践

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹,数据分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-post-ai-day-20240615

前言

微软的2024 AI DAY大会刚结束第二天,继续 POST AI DAY 继续知识分享。虽然 AIGC 已经火遍了大半个世界,但是在中国做 AI 要做落地,直接用到大模型还是有一定困难。大模型,还是不是仅仅停留在概念上,大多数人都是看热闹,那么解决现有数据问题,就需要有实际的落地的方法。

本次分享就以我的实际经验,介绍数据分析落地的最佳实践。

目录

  1. 分享主题:数据分析落地的最佳实践
  2. 会议体验和照片分享

1. 分享主题:数据分析落地的最佳实践

现在我们正处于大数据时代,处处都产生数据,大部分数据已经不在稀缺,分析方法和算法模型都也写在了教课书中。如何挖掘出数据的价值,让数据分析落地,把数据价值转换为业务价值,是数据分析师核心要考虑的。

Chatgpt的出现,也让很多的数据分析从业人员感到担忧,什么时候自己会被模型所替代。这些担心是时代的机遇,让chatgpt辅助为我所用,还是挑战,直接可以我们替代。

数据分析要解决实际业务场景问题,伪需求、不清晰的目标,都会造成项目失败。数据分析不只是指标体系、更不是指标堆积,市场在变,数据也在变,我们的知识结构也要跟着变化。数据分析对人的要求也越来越高,调包侠的时代已过。以新的视角,看数据、看业务、看我们自己,适应变化,才能把项目落地。

我主要为分六个部分进行介绍:

  • 什么是数据落地
  • 数据分析怎么做
  • 调包侠的时代已过
  • 数据分析不只是指标体系、更不是指标堆积!
  • 知识结构在变化,对人的要求越来越高
  • 业务场景千差万别,适应变化

2. 会议体验和照片分享

此次盛会将邀请多位 MVP嘉宾,同时也有微软的员工,大家从不同的角度,把数据如何理解,如何加工,如何使用,如何落地进行阐述,我自己也是收益颇多,看到了不同层面的东西。

我们诚挚地邀请您参加本次活动,深入体验科技与智慧的精彩交融,共同见证AI时代所带来的创新、变革与无限可能。

时间:2024年06月15日 12:30 – 17:50
地点:北京市中关村丹棱街5号微软亚洲研究院 1号楼 1楼 故宫厅

本次会议官方报名页:Post Microsoft Build and AI Day 北京开发者日

2.1 会议主题

在大模型产业实践专场-2专场活动,由 4位行业专家参加:姚凯、殷磊、张丹、高天辰 一起作为分享嘉宾。视频回看:,https://live.csdn.net/room/MicrosoftReactor/CfdpkiN8,我讲的内容在4小时14分钟开始。

本次会议日程:

活动嘉宾阵容:

 

2.2 现场照片

现场所有嘉宾MVP和微软人员的合照。

MVP的合照

现场的观众

周鹏飞(主持人)

卢建辉

白海石

余兴林

占冰强

徐晔

周徐萍

张丹

衣明志

 

人人都有收获,活动圆满成功。同时,感谢MVP活动的霸姐支持。

转载请注明出处:
http://blog.fens.me/meeting-post-ai-day-20240615

2021 微软 Ignite-聊聊Azure上的AI和Data

跨界知识聚会系列文章,“知识是用来分享和传承的”,各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议,向大家展示我所做的一些成果。从听众到演讲感觉是不一样的,把知识分享出来,你才能收获更多。

关于作者

  • 张丹,分析师/程序员/Quant: R,Java,Nodejs
  • blog: http://fens.me
  • email: bsspirit@gmail.com

转载请注明出处:
http://blog.fens.me/meeting-ms-ignite-20210318

前言

由于疫情在全球肆虐,原来线下的各种会议都改成了线上的模式,微软一年一度的Ignite大会如期举行。本次大会增加了一个嘉宾脱口秀的环节,由众多的微软MVP组成的嘉宾团,给大家说说微软黑科技。

目录

  1. 圆桌主题:Azure上的AI+机器学习
  2. 会议体验和照片分享

1. 圆桌主题:Azure上的AI+机器学习

我参与的圆桌部分,主题是怎么看微软在人工智能和大数据领域的技术革新。我从最擅长的数据分析进行介绍,针对于Azure上的Data和AI的主题,谈谈微软产品如何带动整个行业的发展。

我从2个方面来介绍微软数据产品线设计。

我主要为分2个部分进行介绍:

  1. Azure上的 AutoML 自动机器学习平台
  2. Azure认知服务体系

数据分析,作为大数据和人工智能的一个分支,正在各领域中发挥着作用。Azure上是最早推出AutoML的SaaS服务平台之一,现在已经做的非常完善和成熟了。在AutoML的过程中,不仅集成了众多优秀的产品,同时提供了强大的计算能力,和认知服务能力。让小团队可以直接跨过底层的复杂技术架构的搭建过程,从而直接面向应用层去做开发。

Azure上的产品组件:

  • Azure Data Factory,数据工厂被描述为一项数据集成服务。 Azure 数据工厂的用途是从一个或多个数据源中检索数据,并将其转换为你可处理的格式。 数据源可能以不同的方式呈现数据,并且包含需要筛选掉的干扰词。Azure 数据工厂使你可以提取感兴趣的数据,并放弃其余数据。
  • Azure Data Lake Storage, 数据湖是用于存储大量原始数据的存储库。 由于数据原始且未经处理,因此其加载和更新速度非常快,但数据并未采用适合高效分析的结构。
  • Azure Databrick, 是在 Azure 上运行的 Apache Spark 环境,可提供大数据处理、流式传输和机器学习功能。 Apache Spark 是一个高效的数据处理引擎,可以非常快速地使用和处理大量数据。
  • Azure Synapse Analytics, 是一个分析引擎,基于数据仓库的分析服务
  • Cosmos DB,是完全托管的NoSQL数据库服务。


在Azure上,我们不担心产品试用过程中的复杂度,因为通过“服务编排”的方式,建立Pipeline流程,用拖拽就可以完成复杂的产品对接的,和数据流控制,数据处理过程。Azure把流程进行了标准化的定义,产品可以自由组装,数据流关系可以进行服务编排,通过服务接口进行调用,形成了 AutoML 完成的数据产品闭环。


认知服务几乎覆盖了完整的深度学习的应用领域,同样我们可以通过服务接口的方式,调用这个认知服务,而不只自己在重新搭建底层平台。

  • 影像:人脸,图像提取文本,图像分类准确识别画作,视频索引
  • 语音: 文字转语音,语音转文字,语音翻译
  • 语言:文字翻译,语言理解(LUIS),情绪分析
  • 知识:异常检测器,个性化推荐,内容审查
  • 搜索:bing

你可以直接使用由微软提供的,已训练好的通用模型,也可以根据自己的数据训练出符合自己业务场景的个性化模型。总之,既可以通用又可以专业,使用起来非常方便,可以大大解放人的工作,从而实现AI驱动。

2. 会议体验和照片分享

Micosoft Ignite 全球直播又来啦,本次大会的官方页面:https://ignitechina.microsoft.com/index.html, 微信公众号地址:https://mp.weixin.qq.com/s/utnigc2fIeCkZbfkPijHLQ

2.1 会议主题

MVP嘉宾代表团:分了五组进行对微软生态进行介绍。

2.2 相关照片

圆桌对话:我在北京主会场和主持人:杨娜,另外三个嘉宾在上海会场:王公子,彭爱华老师,胡浩。

在各种设备中看直播。

刘亮和杨威,低代码开发。

朱一婷,在做 Micriosoft Mesh 技术分享,混合现实领域。

负责专业录制节目的工作人员。

最后,整个分享结束,现场工人人员和各位嘉宾都辛苦啦。

微软在越来越放开,融合各种技术,并且自己也在支持多种技术的融合和创新。

转载请注明出处:
http://blog.fens.me/meeting-ms-ignite-20210318

打赏作者