Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
满足高性能、高稳定性、可弹性的计算需求.Databricks Delta Lake为数据湖分析提供了ACID事务能力，轻松处理包含数十亿文件的PB级表的元数据信息，实现了批流一体的数据处理方式.同时满足数据科学家、数据工程师以及业务分析师的计算需求，提供交互式的协同分析工作平台.计算存储分离，减少数据冗余，实现多引擎间的数据共享...
来自：
云产品
数据安全中心
敏感数据保护（Sensitive Data Discovery and Protection），在满足等保v2.0“安全审计”、等保v3.0及“个人信息保护”的合规要求的基础上，为客户提供敏感数据识别、分级分类、数据安全审计、数据脱敏、智能异常检测等数据安全能力，形成一体化的数据安全解决方案。
数据安全中心提供数据发现、数据分类分级、数据脱敏、数据审计及数据风险治理5大核心能力，助力企业更好的符合《数据安全法》、《个人信息保护法》各项要求.《数据安全法》、《个人信息保护法》施行.《数据出境安全评估办法》于2022年5月19日，国家互联网信息办公室2022年第10次室务会议审议通过，自2022年9月1日起施行。本...
来自：
云产品
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
可以将指定数据源中的数据，通过简单的配置，一次性的实时同步到Hologres中，支持整库内批量多表同步，同时也支持全增量一体化同步，先全量数据迁移，然后实时增量保持更新.数据集成 Data Integration提供多种数据源之间进行不同数据同步场景的同步解决方案（DataX不支持），支持ETL，助力企业数据更高效、更便捷的一键上云...
来自：
云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
本篇全域数据集成向开发者介绍通过DataWorks数据集成在多表多表、多表到单表、单表到单表等场景下，进行实时或离线同步的技术选型与核心能力，并以MaxCompute与Hologres引擎为例，演示云上数据同步操作步骤最佳实践.全链路数据治理-全域数据集成.2021年10月20日，阿里云正式开源云原生分布式数据库PolarDB-X的源代码，将自...
来自：
云产品
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
基于Dataphin，乳品行业客户能够将企业数据中台与各个业务系统进行对接，将这些系统沉淀的数据都汇集到中台，根据各种业务场景对数据进行智能分析，然后根据分析结果实时呈现业务状况，同时指导各个业务运营，构成一个闭环。上线各种分析场景，并与前端业务运营系统进行了对接.集成十几个来源系统涉及的数据，体系化建设...
来自：
云产品
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本：20220127 XVI 电商网站数据埋点及分析 电商网站数据埋点 步骤3 找到 customer_entity这张表（即用户表），执行 SQL操作，发现当前仅一条示例数据（如果有数据可以先删除，再执行数据生成）。文档版本：20220127 XVII 电商网站数据埋点及分析 电商网站数据埋点 步骤4 执行数据生成，构建假数据。文档版本：...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据处理需求 区。的最佳实践。使用 DataWorks配置周期调度业务流程，数据自 产品列表 动入仓。借助 MaxCompute优化计算引擎，实现降本增 云服务器 ECS 效。云消息队列 Kafka 最佳实践频道 ...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
数据安全成熟度模型.DSMM模型中将数据安全过程维度分为数据全生命周期安全和数据通用安全两个过程，并将数据全生命周期划分为：数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据交换安全、数据销毁安全六个阶段。数据生命周期安全共包含30个过程域，为企业保护数据提供了可落地的参考.数据安全生命周期过程域...
来自：
解决方案
数据同步服务
数据同步 MSS，源于阿里云移动开发平台。移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App。提供增量、可靠的消息触达能力，将聊天消息按发送方的发送顺序，有序推送至指定用户。可以动态地将配置信息进行全设备推送，保证在线 APP 可实时接收推送数据。
移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App.查看产品文档，快速上手.数据同步 MSS.查看 mPaaS 产品文档.移动开发平台的常见使用问题.快速接入支付宝原生扫码组件.组件接入问题咨询>>.默认色值为#fafafa,添加后将覆盖默认色值.基于 SYNC ...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
随着客户业务规模的扩大，对系统高可用性要求越 数据库双向同步 来越高，越来越多用户采用异地双活/多活架构，多 数据库全局 ID不冲突 活架构往往涉及业务侧做单元化改造，本方案仅模 双活架构的数据库建设问题 拟用户已做单元化改造后的数据双向同步，数据库 采用双主架构，本地写本地读，同时又保证双库的数 据一致性，为...
影视数据分发汇集与传输加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具，实现影视数据多用户多地域分发、汇集， 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务（可替换传统FTP服务）。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
影视数据分发汇集与传输加速 场景描述 业务架构 使用阿里云对象存储服务 OSS及 OSSBrowser 工具，实现影视数据多用户多地域分发、汇集，以及传输加速的最佳实践。解决问题 1.跨地域、多角色、分权限文件上传、下载。2.基于 OSS及其客户端实现 Serverless文件 分发服务（可替换传统 FTP服务）。3.OSS文件传输全球加速。产品...
跨链数据可信连接服务
跨链数据连接服务 ODATS 是利用蚂蚁区块链领先技术实现的跨链数据连接服务。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
支持TEE、零知识证明等可验证隐私计算，完成对区块链数据的存在性认证，生成认证证明，保障链上数据隐私，降低跨链认证的复杂度，提高通讯效率.高安全、高性能.可视化控制台快速注册区块链，便捷的授权流程保护链上数据隐私，标准通用的跨链合约，支持各类跨链场景信任可信传递.便捷接入、高效协同.<产品聚合页.跨链数据...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您