自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
Hive版本从 1.2.2变更为 2.3.5，因此这里我们需要依次执行下面几个 升级脚本：upgrade-1.2.0-to-2.0.0.mysql.sql upgrade-2.0.0-to-2.1.0.mysql.sql upgrade-2.1.0-to-2.2.0.mysql.sql upgrade-2.2.0-to-2.3.0.mysql.sql 步骤3 执行升级脚本更新 Hive元数据库的表结构，红色字体为 RDSforMySQL实例的内网连 接地址。...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
文档版本：20200330 30 EMR集群安全认证和授权管理 EMR Kafka安全集群 从下面截图中可以看到，虽然已经启动了 Flume，但是日志信息并没有发送到 Kafka 对应的 Topic：接下来我们进行 Kafka集群相关的安全配置，首先在日志发生器第一个 SSH会话中 通过 Ctrl+C中止 Flume的运行。2.5.Kafka集群安全配置 本最佳实践中创建了 ...
GPU云服务器
阿里云GPU云服务器（GPU Cloud Computing，GPU）是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商，随时为您提供触手可得的算力，有效缓解计算压力，提升您的业务效率，助您提高企业竞争力。
超强的计算能力.GPU云服务器实例最大支持2,000,000的PPS及25Gbps的内网带宽，当搭配了本地高速缓存盘，配合高效云盘或SSD云盘，在保证数据高可用的前提下，将计算和渲染性能发挥到极致.出色的网络性能.支持包年包月、按量付费、抢占式实例多种付费方式，按需购买，享最低折扣.灵活的购买方式.查看更多产品.基于阿里云的弹性...
来自：
云产品
跨链数据可信连接服务
跨链数据连接服务 ODATS 是利用蚂蚁区块链领先技术实现的跨链数据连接服务。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
便捷接入、高效协同.默认色值为#fafafa,添加后将覆盖默认色值.可信数据连接服务包括同构/异构区块链层，跨链服务层，以及在业务层的区块链编程层.通过跨链服务在底层区块链中的协议栈和跨链合约，实现同构或异构区块链之间可信交互，从而构成区块链价值网络，实现链上价值的可信流转，完成丰富的链间互操作.同时TEE预言机...
来自：
云产品
Exchange Server云上部署最佳实践
阿里云提供基础设施服务，能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署，可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
配置外部 URL 步骤1 打开 EAC 并转到 服务器>服务器，选择客户端将连接到的面向 Internet 的邮箱服务 器（EX1和 EX2），然后单击 编辑。文档版本：20220119 74 Exchange Server云上部署最佳实践 配置 Exchange Server 步骤2 转到 服务器>虚拟目录，再选择配置外部访问域。文档版本：20220119 75 Exchange Server云上部署...
跨链数据连接服务解决方案
利用蚂蚁区块链领先技术实现的跨链数据连接服务 Open Data Access Trusted Service(ODATS)。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
便捷接入、高效协同.通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合.可信数据连接服务包括同构/异构区块链层，跨链服务层，以及在业务层的区块链编程层.通过跨链服务在底层区块链中的...
来自：
解决方案
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
FPGA加速图片和视频转码 场景描述 解决的问题 通过 FPGA云服务器进行高效图片转码-场景1：图片转码 通过 FPGA云服务器进行高效视频转码 移动互联网早已进入读图时代，目前的图片都是 JPEG 格式，尺寸太大，导致传输占用更多的网络带宽，花 费更多的传输时间并占用更多的存储空间。JPEG图片 产品列表 转码为 WebP/HEIF需要...
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控（如Palo Alto） 3. 统一多 VPC 的互联网访问出口，提高业务安全性
TR连接（TR Attachments）：代表 TR与其他网络实例互联的实体，分为 VPC连 接、VBR连接、CCN连接、跨地域连接四种类型。TR ENI：VPC到 TR的 Attachment会在 VPC中提供一对主备关系的 ENI，作 为 VPC发送流量到 TR的流量入口。客户在 VPC中配置路由时，下一跳为 TR Attachment，无需关心具体的 ENI。TR路由表（TR Route ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本，并且抢占式实例和按量付费实例都不保证资源...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
24 企业上云实践 虚拟桌面架构的高性能体验云上部署|本地客户端连接实例 在弹出的警告对话框中，勾选不再询问我是否连接到此计算机，并单击是。登录远程桌面。25 企业上云实践 虚拟桌面架构的高性能体验云上部署|本地客户端连接实例 26 企业上云实践 虚拟化远程桌面架构的云上部署|创建并部署文件服务器 5.创建并部署文件...
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS，使用企 业AD对员工的身份认证及管理功能，配置RAM 用户与AD用户的映射关系，实现企业员工使用企 业AD域账号以单点登录（SSO）的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
文档版本：20220617 13企业上云实践 文档标题|章节名 步骤6 选择添加的服务器功能，无新增功能，单击下一步。步骤7 确认安装。单击下一步。文档版本：20220617 14企业上云实践 文档标题|章节名 步骤8 确认ActiveDirectory 域服务安装。单击下一步。步骤9 确认DNS服务器安装。单击下一步。文档版本：20220617 15企业上云实践...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
CDH迁移升级 CDP 最佳实践 业务架构 场景描述 解决的问题 CDH升级至 CDP 当前 CDH免费版停止下载，终止服务，针对需要企业版 服务能力并且 CDH升级过程对业务影响较小的客户，通 要求升级过程无数据丢失风险 过安装新的 CDP集群，将现有数据拷贝至新集群，然后 要求升级宕机时间及短 将新集群切换为生产集群，升级过程没有...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
cd perseus-inference/ls cp-r resnet50_*/mnt/cd/mnt rm-rf/mnt/lost+found/ls 45 企业上云实践 基于弹性计算的 AI推理|部署飞天 AI加速推理工具的 demo 注意：这里镜像启动时，会在/mnt目录下找第一个文件夹下的model.config文 件，如果找不到容器无法启动。4.4.使用 arena 部署 model server 4.4.1.安装最新版本的 arena...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
基于 DataWorks的大数据一站式开发及数据治理 最佳实践 业务架构 场景描述 解决问题 本实践基于 Dataworks做大数据一站式开发，包含 日志采集、处理及分析 数据实时采集到 kafka 通过实时计算对数据进行 日志使用 Flink实时写入 HDFS ETL写入 HDFS，使用 Hive进行数据分析。通过 日志数据实时 ETL Dataworks进行数据治理，...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
但是用户通过种单例或批量创建 ecs，方式均缺乏灵活性，无 法跨越计费方式、可用区及规格族等核心参数的限制，同时无法避免资源不足的情况，这给用户带来了极大的不便利性。方案架构和优势 方案架构 文档版本：20200619 1 基于弹性供应组构建大数据集群分析 最佳实践概述 方案优势 ￚ 获得稳定的实例集群：基于阿里云 ecs的...
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式，导致容器之间的网 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的K8S容器服务， 支持自研的Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
成功连接到实例。步骤12 使用 root账号登录实例。步骤13 登录实例后，运行以下命令，安装 iperf3工具。yum install iperf3 2.2.ping延时对比 2.2.1.standard 步骤1 定位到 deploy-standard应用的容器组，查看并记录两个 pod的 Pod IP和节点 IP。两个 pod所在的节点（node）处于不同的可用区。（示例中是可用区 F和可用区 G...
- 产品推荐
- 这些文档可能帮助您