基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
但同时，它和其他的分 布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统，适合部署 在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上 的应用。实时计算：实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
风险提示 Navigator API应用改造 有些应用程序可能会调用 Navigator API，请按需改造为 Ranger API或者 Atlas API。Ranger无法查到历史审计数据 如果要访问升级之前的历史审计记录，只能在 CDP 上保留一个“只读”的 Navigator实例，直到不再需要它为止。必须确保升级后 CDP上的 Navigator处于“只读”状态 ￚ 删除用户的写...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
在这里我们使用到了:阿里云 Python SDK：aliyun-python-sdk-core SLS服务 Python SDK：aliyun-log-python-sdk pip3 install aliyun-log-python-sdk 步骤2 编辑 python脚本，更新如下信息，比如管理账号的 SLS endpoint、AK/SK、SLS project 和 logstore 等（注：AK/SK 的 获取 方 法，请 参考 帮 助 文档：...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
实际生产环境建议 使用已部署了阿里云 CLI或者 SDK的自定义镜像创建 ECS实例，避免实例在无公网 访问的条件下无法加载相关依赖。2.2.1.创建资源 参考 https://help.aliyun.com/document_detail/87190.html 使用向导创建 2台 ECS。（ECS所属相同的 VPC，不需要分配公网 IP，安全组开放 22端口远程访问）参考 ...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
弹性实例和性能实例都支持按量计费方式，唯一的区别在于，性能实例的最小计费时 长为 1min，弹性实例的最小计费时长为百毫秒(很快会变更为毫秒计费)。当性能实例 运行时长不足 1min 时，统一按 1min 时长计费，如果超出 1min，则将实际运行时长 round 到百毫秒整数倍计费，例如：函数运行时长 30ms、1s、20s、59s、60s等，...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
如果您使用的是DataWorks创建的标准模式下的MaxCompute项目，在填写 project_name时，请注意区分生产环境与开发环境（_dev）项目名称，详情请 参见简单模式和标准模式的区别。odps_config.ini文件中使用#作为注释。MaxCompute客户端内的命令行使用两个 减号-作为注释。MaxCompute提供了外网、经典网络和VPC网络三种...
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力，同时融合视频特效、音频特效等音视频AI能力，为用户提供一体化SDK，支持多终端接入，搭配产品级Demo，支持用户根据业务需求快速集成所需
音视频终端 SDK 音视频终端 SDK（MediaBox SDKs）集成了直播推流、视频播放、短视频创作、美颜特效、音频特效等核心能力，为用户提供一体化 SDK，支持移动端、PC 端、Web 端等多终端接入，搭配开源 UI 组件和产品级 Demo，支持用户根据业务需求集成所需 SDK 以及采用低代码方式快速搭建所需应用。音视频终端智能方案，多种...
来自：
云产品
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
至此，两个API业务流程已经完成创建 步骤14记录API调用的Appkey和AppSecret 选择API调用>>服务管理，记录对应的Appkey和AppSecret3.DataV大屏展示 3.1.DataV创建项目 步骤1 在CADT架构图中，双击DataV图标（图中datav），在底部滑出栏点击前往控制 台。步骤2 在DataV控制台首页，单击创建PC端看板。步骤3 通过浏览器搜索...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
架构优势 全 Serverless架构：函数计算+API 网关+表格存储 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监 控报警等完备的可观测能力。文档版本：20210519 6 新零售商超基于 Serverless服务化改造 基础环境搭建 2.基础环境搭建 ...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于统一的元数据管 理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更 好地满足大数据和AI等领域的数据湖计算场景。基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 1.4.检查EMR集群 本示例使用CADT架构模式创建了EMR集群，配置Hive元数据存储到数据湖构建。步骤1 快速登录到EMR控制台：点击...
- 产品推荐
- 这些文档可能帮助您