基于DataHub采集数据的营销报告分析

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 本案例是基于阿里云上的DataHub收集营销数据,并通过MaxCompute对营销数据进行分析。下面主要介绍如何用DataHub收集营销数据,以及在MaxCompute中如何对数据进行分析。

         本案例是基于阿里云上的DataHub收集营销数据,并通过MaxCompute对营销数据进行分析。下面主要介绍如何用DataHub收集营销数据,以及在MaxCompute中如何对数据进行分析。

1 DataHub采集数据

         阿里云的datahub提供了接口可将项目中产生的数据同步到Datahub中,并实时同步到MaxCompute项目对应的表中。下面介绍如何利用DataHub收集数据。

1.1 创建项目

         DataHub地址为https://datahub.console.aliyun.com/datahub。页面如下:

                                                                                         48ff6b829d50ec9a20966e8b7be9b463878cae58

         点击创建project按钮,可创建项目,窗口如下:

                                                                                        873d5731c134b4c4a0ccc61633ee195868eb58fc

        输入名称和描述之后点击创建可新建一个项目,刷新后会出现在项目列表中。点击查看可设置项目的各种信息。

1.2 创建Topic

        点击项目后的查看按钮,进入如下页面:

                                                                                        ec0dd0b7f91e4bb5d30c56cf8e913366d5344358

        创建Topic设置同步数据到MaxCompute的数据表中。点击创建Topic,弹出页面如下:

                                                                                          f31fad983500de805e76b1f68201106268da06ce

        有两种创建方式,直接创建和导入MaxCompute表结构。第一种方式需要自己填写表结构,比较麻烦,如果在MaxCompute中已经创建好了表,推荐使用导入MaxCompute表结构。按提示填写完信息即可创建成功(提示:备注也要写,否则创建按钮不可点击)。创建完成后会出现在Topic列表中。

        此时在DataHub中的配置已经完成,点击Topic后面的查看可查看配置的各种信息。如下图:

                                                                                    45a33e4e3924ee7d86a245b17268ed1c9ac6dc52

                                                                                    5302460727105378527d0533638b9eed24b12d5e

       点击第二张图片Connectors中的查看,弹出如下页面:

                                                                                    c8998ebd54db9eb6202f010649ac158352882fe1

        重启归档和暂停归档可设置是否将DataHub中的数据同步到MaxCompute中。

注:创建Topic的时候会设置生命周期,如生命周期为三天,表示DataHub只保存三天的数据。超过三天的数据会被删除,且不可恢复。因此需经常看看DataHub是否因未知的原因而归档失败了。因为当归档失败时,DataHub没有失败自动重启的功能,此时会一直处于失败状态,数据无法归档到MaxCompute中,超过三天数据会丢失(也可将生命周期设置的长一些)。

1.3 数据采集

         DataHub中提供了很多工具将本地项目中的数据同步到DataHub中。提供的工具如下:

                                                                                     ee0650476f29f91b9e7c85ebcc63627dde7d67c8

         点击需要用的工具即可进入帮助文档页面,按帮助文档的步骤进行操作即可。

2 利用MaxCompute进行数据分析

         用MaxCompute进行数据分析,首先需要创建odps项目,其产品名如下:

                                                                                      7dfb2e48e4116a3607d3fb7c6399ec3c3ec179cc

       创建成功后的页面如下:

                                                                                  4352a3d196dc453f103c4e903bcda6bd3d252bc5

       点击项目列表中的项目名即可进入项目空间(需操作不同项目空间的表需要再表前加上项目名,用“.”连接)。项目空间如下:

                                                                                  c4d1d2b4eb56969ec089ce0e68a71aabc965ecc7

任务开发:可创建一些定时任务,定时运行一些数据同步任务、机器学习实验、Sql语句等。

脚本开发:可写一些Sql语句对项目空间的表进行分析。

函数管理:提供了一些系统自带的函数。

表查询:可查看MaxCompute中的所有表,查看表结构及预览部分数据。

       下面介绍一下本案例的营销报告所做的工作,主要是新建一个任务,在任务中添加一些sql语句节点,定时每天跑这些任务。

2.1 创建任务

         点击新建,出现如下页面:

                                                                                 17e3e56be02a942963d44aaf1a3d5fc44c72d29c

        点击新建任务,出现如下页面:

                                                                                 dcaa6806d81bb797c4d20a7846cd42c60eb10086

       分为工作流任务和节点任务,节点任务有如图所示的几种任务类型,顾名思义,节点任务就是只能执行一种任务类型的一个任务。而工作流任务是将节点任务连接成一个工作流,可让多个节点任务一起执行。我们这里创建工作流任务,其页面如下:

                                                                              18243aef1909e3b76c95e9eeb36beb19cb31b2ed

        创建成功后的页面如下:

                                                                              ab1dd1331969bd2e5d3ae6aed23a7e3280a72e9b

         左边提供了节点组件。本案例的营销报告工作流如下:

                                                                                f8affb5843c76b93e03c39eb0a8f0a3e1fa64b82

         鼠标选择节点组件,点击右键会出现设置节点信息的菜单,如下:

                                                                       45af002b07b8e69c8d8718c0f02941c1ff6f3d74

         任务配置完成后,可在右边的调度配置中配置调度信息,如下:

                                                                           4782866ec29cae10b540c688e137812794f0dfb7

        各种信息都设置后之后,点击菜单栏中的保存、提交即可定时执行任务,菜单栏如下:

                                                                         b2cc69c2866652933fedcd4b516db3484e391d9f

        其中,测试运行可测试任务配置的是否有问题。

2.2 同步数据到RDS数据库

         用MaxCompute平台分析后的数据可同步存放到RDS数据库中,然后在本地项目即可获取分析结果。

2.2.1 新建数据源

         同步数据到RDS中需要新建数据源,将MaxCompute的项目与RDS数据库连通起来。数据源在数据集成中创建,页面如下:

                                                                        ad8aa0851e70e41afc64f155299a283036a2e82a

         点击新建数据源按提示创建即可。

2.2.2 创建数据同步任务

         在MaxCompute的项目空间中新建任务,如下:

                                                                           dcaa6806d81bb797c4d20a7846cd42c60eb10086

        此时任务类型选择数据同步。之后按提示填写即可。

3 总结

         本案例是利用DataHub采集营销数据,然后利用MaxCompute对数据定时进行分析,然后同步到RDS数据库中,供本地项目获取结果。

#MaxCompute最佳实践#





相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
目录
相关文章
|
1月前
|
搜索推荐 算法 数据挖掘
十个最全网站营销方法案例分析
本文探讨了10种网站营销策略:SEO优化提升搜索引擎排名;内容营销建立品牌信任;社交媒体营销扩大影响力;搜索引擎广告吸引目标用户;电子邮件营销促进销售;网站设计优化提升用户体验;移动端优化适应移动设备;数据分析驱动策略优化;视频营销吸引关注;合作伙伴营销扩展品牌覆盖。AokSend提供高效验证码发信服务,助力企业营销。选择合适策略,持续优化,以实现最佳营销效果。
|
5月前
|
SQL 关系型数据库 数据管理
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
721 1
|
7月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
303 2
|
1天前
|
机器学习/深度学习 算法 数据挖掘
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享-2
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享
19 1
|
3月前
|
存储 监控 Apache
Flink整库同步 如何把数据丢入到 datahub 中
Flink整库同步 如何把数据丢入到 datahub 中
|
5月前
|
数据采集 大数据 数据挖掘
企业级数据治理工作怎么开展?Datahub这样做
企业级数据治理工作怎么开展?Datahub这样做
|
7月前
|
关系型数据库 分布式数据库 PolarDB
|
7月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub
将 MySQL 数据抽取并写入 DataHub
176 3
|
9月前
|
Java API Maven
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
77 1
|
11月前
|
数据采集 Java API
手机号码在网时长 API 实现广告投放和精准营销案例分析
手机号码在网时长 API 实现广告投放和精准营销案例分析
119 0
手机号码在网时长 API 实现广告投放和精准营销案例分析

热门文章

最新文章