Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
机场视频监控最佳实践 部署架构图 场景描述 该最佳实践适用于国内机场的视频监控行业，将 线下视频文件通过混合云阵列缓存后，通过专线 上传到阿里云OSS上。也适用于其他混合云场景中，利用阵列缓存文 件，并通过网络传输到阿里云OSS上的场景。解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里...
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
以下仅列出部分常见数据源，作为DataX的超集，数据集成(Data Integration)支持50+种数据源，完整的数据源列表以及对应使用文档请参看帮助文档.离线同步支持的数据源.抽取（Reader）.导入（Writer）.保障高峰期调度任务稳定运行及数据定时产出.独享调度资源组.保障高峰期数据集成任务稳定运行及数据定时产出.独享数据集成...
来自：
云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
提供数据迁移、数据同步、数据订阅链路的数十个实时性能指标和监控视图，直观监控各条链路的健康状况，辅助用户进行故障诊断.查看同步链路状态和性能>.闭环的报警监控管理.可灵活配置任务延迟、任务状态等监控指标，对链路实时监控报警，并在故障消除后通知用户，实现监控、报警的闭环管理.大幅度降低运维成本.丰富的性能...
来自：
云产品
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本：20210915 49 PTS压测 基于 ALB统一流量调度和监控 5.PTS压测 本章节主要通过 PTS对 orders.api 和 users.api 应用进行流量推送，为后续 SLS监 控提供分析数据。步骤1 登录 PTS控制台（https://pts.console.aliyun.com/），若提示开通服务，单击确认。步骤2 重新进入 PTS控制台，若是新用户，系统提示如下优惠，请...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
广泛应用于流量分析、广告营销 分析、行为分析、人群划分、客户画像、敏捷 BI、数据集市、网络监控、分布 式 服 务 和 链 路 监 控 等 业 务 场 景。更 多 信 息，请 参 见 www.aliyun.com/product/clickhouse 数据传输服务 DTS：数据传输服务(Data Transmission Service)DTS支持关系 型数据库、NoSQL、大数据(OLAP)等数据...
数据传输解决方案
数据传输解决方案支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距离、毫秒级异步数据传输难题。
其业务系统的数据变化，以订阅消息的方式，快速向下游分发.数据传输DTS.云数据库MySQL.借助DTS异构数据库迁移的能力，银泰百货实施了去O上云.数据传输DTS.云数据库PolarDB-X.云数据库MySQL.UC浏览器实现了异地多活的架构，解决跨城容灾、业务分流.数据传输DTS.云数据库PolarDB-X.云数据库MySQL.梨视频借助DTS数据订阅功能，...
来自：
解决方案
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
适合业务相对稳定，且有小型的数据团队负责数据研发及管理的企业。此版本具备一体化研发及数据治理能力，可帮助企业完成数仓建设，保障质量及安全合规.基础研发版￥8,500/月 起.满足成熟企业对数据中台建设的诉求，通过盘点企业的数据资产，形成统一的规范及标准进行数据资产的治理，构建标准统一、口径一致、质量可靠的...
来自：
云产品
消控宝—数字消防监控解决方案
打通消防“生命通道”。人工智能算法加持普通摄像头，智能识别消防通道占用、消控室人员离岗/睡岗等行为，通过钉钉15秒通知到责任人，杜绝隐患。
面向小镇重点区域16幢建筑及5个消控值班室安装部署消控宝视频监控设备，实现隐患快速识别定位，15秒内触达消防责任人，处置过程全程留痕可追溯。解决小镇日常消防隐患依赖人工巡查，效率低、响应慢的弊端，帮助小镇实现数字消防新模式的探索，实现防火、灭火从被动响应向主动预防转变。打通消防“生命通道”。人工智能算法...
来自：
解决方案
跨链数据可信连接服务
跨链数据连接服务 ODATS 是利用蚂蚁区块链领先技术实现的跨链数据连接服务。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
可信数据连接服务包括同构/异构区块链层，跨链服务层，以及在业务层的区块链编程层.通过跨链服务在底层区块链中的协议栈和跨链合约，实现同构或异构区块链之间可信交互，从而构成区块链价值网络，实现链上价值的可信流转，完成丰富的链间互操作.同时TEE预言机保证了数据可信访问，每笔请求都在可信硬件环境中执行得到响应，...
来自：
云产品
跨链数据连接服务解决方案
利用蚂蚁区块链领先技术实现的跨链数据连接服务 Open Data Access Trusted Service(ODATS)。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合.可信数据连接服务包括同构/异构区块链层，跨链服务层，以及在业务层的区块链编程层.通过跨链服务在底层区块链中的协议栈和跨链合约，...
来自：
解决方案
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具，旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
数据看板控制台.孪生仿真控制台.可视分析卡片控制台.可视分析地图控制台.数据可视化DataV是阿里云数据可视化应用搭建平台，旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求.在线客服咨询.DataV...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
结果汇聚查询 在Hologres中创建外表用于将MaxCompute的log_push数据聚合在Hologres中。步骤1 创建外表。在HoloWeb页面顶部菜单栏，单击连接管理>外部表。步骤2 在新建外部表页面，配置表的数据源参数(push_history)，并单击提交表。注意：外部服务的表，需要手动输入dataworks的项目名称，下拉框才有选项。步骤3 接下来我们...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
适用场景 电商网站数据看板 全国/全球业务态势分析 联网金融风险数据监控 方案架构 本实践方案架构如下图所示： 用户订单等数据同步到MaxCompute 通过Dataworks对原始数据进行处理并形成开放API 需要展示的结果数据以API的形式通过DataV在大屏上展示互联网电商行业离线大数据分析 最佳实践概述 方案优势 ...
数据安全中心
敏感数据保护（Sensitive Data Discovery and Protection），在满足等保v2.0“安全审计”、等保v3.0及“个人信息保护”的合规要求的基础上，为客户提供敏感数据识别、分级分类、数据安全审计、数据脱敏、智能异常检测等数据安全能力，形成一体化的数据安全解决方案。
数据全链路监控管理能力，数据安全合规检查.从海量数据中发现和锁定保护对象，通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的安全防护，如细粒度访问控制、加密保存等.敏感数据识别.细粒度行为审计追溯的能力，可审计用户终端...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
数据融合分析：文档版本：20210224 3 游戏数据运营融合分析 最佳实践概述 ￚ DLA融合分析（冷数据，全周期，低频查询、大范围跨度查询、关联 ADB 维度数据分析）+ADB存储密集型分析（温数据，1-3个月批量数据分析）+ADB计算密集型（热数据，实时分析）。ￚ 真正实现云原生数据处理、分析链路闭环，极大提高客户收益。方案...
- 产品推荐
- 这些文档可能帮助您