数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
独享调度资源组.保障高峰期数据集成任务稳定运行及数据定时产出.独享数据集成资源组.阿里巴巴十二年数据中台建设黄金搭档，快速落地企业大数据开发与治理平台.数据开发与治理产品包.实时、离线一体化大数据平台建设，提供百亿数据亚秒级查询能力.数据加速分析产品包.查看全部日志.点击前往查看.数据集成(Data Integration)...
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
替换后效果为：文档版本：20210723 71 自建Hadoop迁移MaxCompute Azkaban定时任务迁移和改造 步骤13 将替换后的脚本完整内容粘贴进数据集成任务编辑栏 步骤14 配置任务资源组和独享资源组：步骤15 调度配置中设置自定义参数 步骤16 设置时间属性：文档版本：20210723 72 自建Hadoop迁移MaxCompute Azkaban定时任务迁移和...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
1 企业上云实践 虚拟桌面架构的高性能体验云上部署|演示环境说明 演示环境说明 本示例基础架构图：产品或服务 本文示例 备注 VPC-1 名称：VPC_SH 华东 2（上海），可用区 E+F Ipv4：192.168.0.0/16 交换机：vsw-e 资源组：默认资源组 Ipv4：192.168.1.0/24 VPC-2 名称：VPC_XJP 新加坡，可用区 B Ipv4：192.168.0.0/16 ...
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机（DDH）的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池，同时配合 ECS成熟稳定的虚拟化技术体系，充分利用云上资源 弹性、按使用付费的优势，快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统，满足安全、合规、 自定义部署、自带许可证（BYOL）等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系，支持ECS自定义部 署，可在DDH环境和多租户环境间迁移。 l支持自带许可证（BYOL）。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
测试环境和生存环境通过 VPC隔离，并共享 DDH 资 源，以达到资源利用的最大化。文档版本：20200218 55 企业上云实践 VMware 迁移 DDH|附录 附录 使用资源编排服务（ROS）创建资源 使用资源编排服务（ROS）可以大幅提供资源创建效率。本最佳实践相关资源编排模版已在控制台-解决方案 中心提供，直接调用即可快速创建本最佳...
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
步骤6 修改数据集成资源组配置，选择之前创建的独享数据集成资源组。33 文档版本：20220121 互联网、电商 Elasticsearch搜索最佳实践 数据同步及搜索 步骤7 保存并执行 步骤8 查看日志同步完成，消耗了 32.853秒。34 文档版本：20220121 互联网、电商 Elasticsearch搜索最佳实践 数据同步及搜索 步骤9 把调度配置为 1小时...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
确定使用公共调度资源组。确认成本预估，单击运行。文档版本：20240419 35 大数据近实时数据投递 MaxCompute 确认数据已成功写入临时表。5.6.编写 UDTF对临时表进行数据处理和动态分区 MaxCompute提供多种内建函数来满足计算需求，同时还可以通过创建自定义函数 来满足更多的计算需求。关于 MaxCompute的 UDF（User Defined...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
数据库：magento 自定义名称：业务出 基于模版新建 弹性公网EIP 口EIP 默认配置 自动绑定到ECS 默认公共云版本 基于模版新建 DataV 默认配置 新用户可以选择使用互联网电商行业离线大数据分析 搭建电商网站Demo 版 API网关 数据发布网关 默认配置 基于模版新建 付费基础版 基于模版新建 DataWorks独享资 源，2个 独享数据...
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前，会重点关心数据库是否自主可控，包括云资源独享、自主可运维、获取OS 权限等特点，同时又要兼顾数据库合规性、安全性和高性能的要求；并力求在业务弹性下合理利用云产品降低数据和应用成本，弹性地支持业务。本实践为此类用户提供相关实践参考。
具有云资源独享、支持资 源超分配，自主可运维、开放部分数据库和 OS权限等特点。云数据库专属集群为 客户独享云资源更加安全，用户既享受到云数据库服务的便捷灵活，又满足企业 对 数 据 库 合 规 性、安 全 性 和 高 性 能 的 要 求。详见：https://www.aliyun.com/product/apsaradb/cddc 堡垒机：集中管理资产权限，全程...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
配置项 说明 商品类型 实时计算独享模式按量计费（根据业务需求选择）地域和可用区 华南 1 深圳，深圳 E可用区 master型号 4核 16g（根据业务系统评估）master数量 1（实验环境选择 1个，生成环境建议选择 3，实现高可用。slave型号 4核 16g（根据业务计算量选择）slave数量 2 文档版本：20201020 10 基于 Dataworks的...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
DDH：专有宿主机（DedicatedHost），简称 DDH，是阿里云专为企业客户定制优 化的云端解决方案，具有物理资源独享、部署更灵活、配置更丰富、性价比更高等 特点，可以有效地降低企业上云的 TCO（TotalCostofOwnership）。DDH是指由 一个租户独享物理资源的云主机。作为该云主机的唯一租户，您不需要与其他租 户共享云主机...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
您 可以使用 RAM 创建和管理用户和组，并使用各种权限来允许或拒绝他们对云资 源的访问。详见：https://www.aliyun.com/product/ram 弹性容器实例 ECI：提供免运维和快速启动的容器 Pod 运行环境。您可以通过 ECI，秒级启动上千个 Pod，提升业务扩容速度而无需提前购买和管理底层 ECS 服务器，并仅为容器实际使用的资源付费...
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
同时有多个视频文件上传时，函数计算自动进行毫秒级弹性伸缩，快速调度计算资源，并行处理多个文件，您只需为使用的资源量付费，无需支付额外费用.并行转码：根据视频文件数自动弹性伸缩.FFmpeg 相关命令可以直接移植到函数计算，在虚拟机上部署的基于 FFmpeg 的服务可以轻松切换到函数计算，迁移成本低.快速迁移：迁移成本...
来自：
云产品
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
说明：绑定 Hologres数据源必须使用独享数据集成资源组，若是已有，可忽略，若 是没有，则需要购买独享资源组并绑定至指定 DataWorks工作空间。文档版本：20211213 56 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 5.6.创建业务流程 步骤1 打开 Dataworks首页...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
专属集群MyBase以资源独享、自主运维、安全可控的新型模式，很大程度上推动客户进行心业务上云的决心。在弥补社区PG无官方高可用方案、BUG修复缓慢、数据损坏修复耗时长等问题的同时，开放OS权限、允许资源超分机制，在安全可控下，很大程度上满足了客户运维习惯和成本把控.阿里云数据库产品助力我们畅捷通提升了产品性能、...
来自：
云产品
资源管理
阿里云资源管理，企业级资源管理服务，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。资源管理（Resource Management）包括资源组（Resource Group）和资源目录（Resource Directory）。资源组是在阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。资源目录（Resource Directory）是阿里云面向企业客户提供的一套多级资源(账号)关系管理服务。
阿里云资源管理服务包含一系列支持企业IT治理的资源管理产品集合。其中主要产品为资源组和资源目录。资源管理服务支持您按照业务需要搭建适合的资源组织关系，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。
网站静态资源访问加速
本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为您节约成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景网站性能的影响如何提升网站性能推荐方案方案部署性能优势成本优势网站静态资源访问加速本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为...
来自：
解决方案
跨账号资源全局视图及搜索
当客户在阿里云上使用了多个云账号时，跨账号的资源查看和管理将会变得复杂。资源中心为您提供跨账号、跨产品、跨地域的资源统一视图及资源搜索能力。
当前客户可在资源中心中使用账号、地域、产品、资源类型、资源ID、资源名称、资源标签、资源组作为查询条件，直接搜索快速查找定位到告警的资源，节省人力成本提升效率。一个界面全局查看和盘点资源企业在云上使用多种云资源，多地域部署，资源可能分布在不同的云账号内。多账号、多产品、多地域的资源结构给用户在资源管理...
来自：
解决方案
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
双击交换机，导入交换机 导入安全组 文档版本：20240130 5 OA云资源申请流程自动化 CADT部署集成环境 NAT网关配置，（若已保有 VPC内已存在 NAT网关，则在右侧属性栏点击“部署资 源”开关，关闭 NAT的部署）。EIP配置（若已保有 VPC内存在可用的 EIP资源，则在右侧属性栏点击“部署资源”开关，关闭 EIP的部署）。文档版本...
- 产品推荐
- 这些文档可能帮助您