基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
名词解释 HDFS：Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分 布式文件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分 布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统，适合部署 在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上 的应用。...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署，通 过 ARMS监控发现微服务应用的容错能力是否 健壮，容器编排配置是否合理，以及节点故障引 发的问题等，方案通过 AHAS故障注入模拟生 产环境产生的故障，通过 ARMS及时发现问题、定位问题，并结合 ARMS的告警功能快速...
移动智能营销解决方案
移动智能营销解决方案是围绕用户全生活场景的移动端智能营销解决方案。基于 APP 用户行为大数据分析，以 AI 核心科技打造自动高效的营销全流程闭环能力。通过快速接入阿里系、客户自建和第三方的衣食住行等生活场景服务，激活存量用户，促进产品二次销售，实现业务快速增长。
以小程序为载体，快速在 APP 中接入诸如口碑、淘票票、高德、盒马、阿里健康等阿里系生活服务场景、第三方场景和自建场景，增加移动端用户活跃度与粘性.源于支付宝的智能科技如“毕加索”智能创意文案、MAB智能分流、智能投放、AB测试等能力，全面提升营销自动化水平，解放营销人员生产力.权益聚合平台全面对接阿里经济体和...
来自：
解决方案
AHAS多活容灾MSHA
多活容灾MSHA是在阿里电商业务环境演进出来的多活容灾商业化产品，是应用高可用服务AHAS的核心模块，为客户提供容灾架构建设能力。横向支持容灾架构的上线、运维、演练、切流，升级到下线。纵向支持业务流量的全链路管理，从流量接入到服务化调用再到异步化消息，最终完成数据落库。
应用实时监控服务是一款应用性能管理产品，包含前端监控，应用监控和Prometheus监控三大子产品，涵盖了浏览器、小程序、APP、分布式应用和容器环境等性能管理，能帮助你实现全栈式的性能监控和端到端的全链路追踪诊断，让应用运维从未如此轻松高效.企业级分布式应用服务 EDAS.企业级分布式应用服务 EDAS是应用全生命周期...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
小迈科技是一家围绕高质量APP、用户增长和商业化变现的数字化广告公司，通过大数据技术搭建了10+应用系统来赋能业务数字化运营。但随着用户量指数级增长，业务团队对数据实时化、精细化的要求提升，大数据系统开始备受挑战。小迈科技通过引入Hologres搭建的实时数仓，支撑了百亿级的业务数据复杂多维分析秒级响应，提升了...
来自：
云产品
智能接入网关SAG
智能接入网关（Smart Access Gateway，简称SAG）是阿里云提供的一站式快速上云接入产品，企业可通过智能接入网关SDWAN技术实现Internet就近加密上云，适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景。阿里云SAG产品配置高度自动化，即插即用，网络拓扑变化自适应快速收敛，自动探测最优链路，故障时主动实时切换，高质量、高安全、高效率的帮助用户解决网络接入最后一公里难题。
洲际酒店全面采用智能接入网关SAG接入阿里云，包括SAG硬件版/软件版/APP版等，构建了一键触达全球的高质量网络体系，分支酒店访问部署在阿里云上的酒店管理系统，时延降低90%以上.大润发携手阿里云启动数字化转型之路，在数字化转型过程中，将数据中台等业务系统搬到了云上，减轻IDC负担，降低运维投入，标准化门店的同时...
来自：
云产品
渗透测试|阿里云安全
阿里云渗透测试团队以攻击者思维，模拟黑客对业务系统进行一次全面深入的安全测试，帮助企业挖掘出正常业务流程中的安全缺陷和漏洞。助力企业先于黑客发现安全风险，防患于未然。
测试范围包括：系统、WEB应用、移动APP、网络/IoT/智能设备.项目管理团队高效执行.渗透测试服务团队由数十位安全专家组成，优秀的安全人才是提供高质量安全服务管理的基础保障.40A_【标题】行业实战场景.谢赟辉,靖鑫,也树.视频直播类节目中会大量出现流量突发场景，云数据库Redis集群版轻松突破Redis自身单线程瓶颈，QPS...
来自：
云产品
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效 检验和管理业务性能。详见：...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 1.实时采集埋点日志数据 2.实时采集业务数据库中数据 3.对数据进行清洗和处理 4.保存数据到分析型数据库 5.对结果进行可视化展示 例如用户通过手机APP购买基金，金融公司可以通过后台的大数据分析平台达到...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控.谢赟辉,靖鑫,也树.数据安全解决方案框架.阿里云参考数据安全成熟度框架（DSMM），基于阿里云多年实践，...
来自：
解决方案
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
audio=false 27.28.#find-window-class=SDL_app 29.30.enable-server-rate-control=Y 31.server-token-fill-interval=20000 32.server-num-token-to-fill=1 33.server-max-tokens=2 步骤4 创建 run.bat文件，输入以下内容保存。1.cd C:\gaminganywhere-0.8.0\bin 2.ga-server-event-driven.exe config/server.usf.conf 3....
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
配置 Zabbix开放告警 Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控，同时支持多 种告警通知渠道。日志服务告警系统可以设为 Zabbix的一个通知渠道，由日志服务告 警系统完成告警降噪、通知等处理。本节适用于 Zabbix 4.4及以上版本。3.4.1.搭建 Zabbix环境 步骤1 登录 ECS控制台...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
作为淘宝/天猫主站最核心的交易系统，每笔交易订单数据的产生会引起几百个下游业务系统的关注，包括物流、购物车、积分、阿里妈妈、流计算分析等等，整体业务系统庞大而且复杂，架构设计稍有不合理，将直接影响主站业务的连续性；超高流量脉冲处理能力.MQ 超高性能的消息处理能力可以承接流量脉冲而不被击垮，在确保系统...
来自：
云产品
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。详 见：https://www.aliyun.com/product/rds/mysql DTS：Data Transmission Service，简称 DTS，是一种集数据迁移、数据...
- 产品推荐
- 这些文档可能帮助您