Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
导入数据到 Oracle数据库 步骤1 下载导入数据包 在本文 git库中存有构建 Oracle应用需要的数据文件，在 oracle-dump-data目录下。下载保存 shoptest.tar.gz文件。cd/root git clone https://code.aliyun.com/best-practice/130.git cd 130/oracle-dump-data/ 获取 shoptest.tar.gz文件：步骤2 将压缩数据包解压。gunzip ...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
当执行完成时，会生成 MapReduce 相关报告，结果集保存在/tmp/hive/root/query_result/目录下：步骤8 查看保存在 HDFS文件系统目录下的结果集导出文件。hadoop fs-ls/tmp/hive/root/query_result hadoop fs-cat/tmp/hive/root/query_result/000000_0 文档版本：20210721 19 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础...
大数据workshop
大数据workshop
步骤5 rds的访问地址可以在实例详情里查询，登录 rds实例详情页，选择查看连接详情：文档版本：20210628（发布日期）26 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤6 找到地址信息：步骤7 修改配置文件并保存后，执行./start.sh脚本启动服务：观察日志文件是否更新：tail-f/var/log/gen.log，该文件每秒都有新...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
步骤5 下载 CSV文件，保存用户信息（含 AK）。步骤6 在用户信息列表，勾选 migrate_user用户，并单击添加权限。11 文档版本：20201013 数据迁移上云最佳实践 测试资源准备 步骤7 在添加权限 侧 边 页，并 选 择 AliyunOSSFullAccess、系统权限策略，然后单击完成。步骤8 确认授权结果，单击完成。12 文档版本：20201013 ...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
1.修改/etc/profile文件并保存。2.在配置最后加入相应路径信息。3.执行 source/etc/profile命令以便环境变量配置生效。步骤6 添加阿里云文件存储 HDFS的 SDK。1.首先下载阿里云文件存储 HDFS的 SDK，下载地址：https://mvnrepository.com/artifact/com.aliyun.dfs/aliyun-sdk-dfs/1.0.3 文档版本：20200409 6 Spark on ECI...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
配置环境变量文件，将（注意 JDK版本修改 JAVA Home路径）：export JAVA_HOME=usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 拷贝到 flume-env.sh文件中。4.配置任务：a1.sources=logfile a1.channels=memoryChannel a1.sinks=k1 a1.sources.logfile.type=exec a1.sources.logfile.command=tail-F/var/log/...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
文档版本：20240419 14 大数据近实时数据投递 MaxCompute 该程序包的使用方法如下：java-jar kafka.test-with-dependencies-ip-port-topic.jar Kafka_IP Kafka_PORT Topic_NAME 本例中，app通过内网地址向 EMR Kafka集群的 topic message投递数据信息，因 此根据 EMR Kafka的内网地址 192.168.0.231:9092（参考章节 2.1，取...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本：20210915 26 环境准备 基于 ALB统一流量调度和监控 步骤名称：默认 集群连接：选择 ack Kubectl版本：选择 v1.18.4 命名空间：default YAML路径：application.yaml 步骤23 在运行流水线之前，需要到 Codeup代码库中调整 application.yaml 配置文件。步骤24 进入项目首页，单击代码管理。文档版本：20210915 27 ...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 Filebeat时，它会启动一个或多个查找器，查看您为日志文件指定的本地路径。对于 prospector 所在的每个日志文件，prospector 启动 harvester。每个 harvester 都会为新内容读取单个日志文件，并将新日志数据发送到 libbeat，后者将聚合事件...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
由于本最佳实践采用 Mac系统开发，如果使用 Windows平台请自行找到 hosts文 件。其中所有 MongoDB的 IP都设置为安装的 MongoDB的 ECS IP地址，而 rabbitmq 的 IP设置为安装的 ECS IP地址。2.修改配置文件中所有 password变量的值为常量”password”。请替换配置文件中，如下变量的值为 password。{CONFIG_SERVICE_PASSWORD}...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
import java.util.*;import com.aliyuncs.ecs.model.v20140526.*;public class RunInstances { public static void main(String[]args){ DefaultProfile profile=DefaultProfile.getProfile("cn-shanghai","","");实例所属的地域ID 49 企业上云实践 虚拟桌面架构的高性能云上部署|通过 API快速创建 ECS IAcsClient client=...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
用 2个 SSH客户端分别登录 dubbo-app，并分别执行以下命令：java-jar dubbo-provider-0.0.1-SNAPSHOT.jar&java-jar dubbo-consumer-0.0.1-SNAPSHOT.jar&步骤7 验证应用功能。执行 README文件的介绍的 URL，可以看到应用的返回结果。http:// dubbo_app:8080/list 可以看到访问结果：文档版本：20220208 14 Dubbo应用上云 ...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
游戏服构建 关于 Spring-boot 的多环境控制 详 情，可 参 考 文 章：https://developer.aliyun.com/article/417629 步骤4（可选）打开 application.properites,在这个主配置文件中，服务器的端口设置为 30001，请保证安全组有对外开放此端口（端口数 10000,然后通过端口转发，反向代理等方式对外暴露）。文档版本：20201224...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
找到之前创建的 bucket oss-bp106-202111270001，单击文件管理>上传文件，文件 ACL选择公共读，将要上传的文件拖入到待上传文件的位置。文档版本：20211213 32 基于 MaxCompute的大数据 BI分析 日志数据采集 查看 loghub-tracking.js文件的公网访问地址并记录备用，参考：文档版本：20211213 33 基于 MaxCompute的大数据 BI...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
从本最佳实践 git库下载文件 RedisClient.java：cp RedisClient.java/root/YCSB/redis/src/main/java/site/ycsb/db/步骤3 安装 JDK。下载 JDK。https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html vim .bash_profile文档版本：20210120 47 在线教育流量洪峰最佳实践 附录 测试环境安装 步骤4 配置...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
步骤3 ssh 登 录 到 EMR Hadoop 的 master 节 点 修 改 flume 的 配 置 文 件/usr/lib/flume-current/conf/flume-k2hadoop.conf（配置文件可以在附件中下载）：文档版本：20200331 48数据湖-在线学习场景数据分析 应用场景 启动flume，执行命令：flume-ng agent-conf/usr/lib/flume-current/conf/-name a1-conf-file/usr/...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
此 处 的 JAR 文 件 文档版本：20210803（发布日期）41阿里云最佳实践金融大数据WorkShop 最佳实践项目实践（ververica-connector-hologres-1.12-vvr-3.0-SNAPSHOT-jar-with-dependencies.jar）请从第3章获取的压缩包中获取。3.系统会自动解析上传的JAR文件，解析成功以后单击完成并查看Connectors列表 中上传的自定义...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
文档版本：20220207 III 弹性裸金属自建 ORACLE数据库双机 前言 快照：快照是某一时间点一块云盘和共享块存储（以下简称磁盘）的数据状态文 件。常用于数据备份、数据恢复和制作自定义镜像等。镜像：ECS镜像提供了创建 ECS实例所需的信息。创建 ECS实例时，必须选 择镜像。镜像文件相当于副本文件，该副本文件包含了一块或...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
以下列举 Kong的一些优势：ￚ 性能：对于非 Java语言的微服务体系，三种引擎类型在能力上没有明显区别，Kong引擎的性能更好，且支持 GRPC这种常见的多语言协议。ￚ 集成 K8s：Kong网关与阿里云容器服务 Kubernetes版结合的更紧密，目前 已经提供了 Kong Ingress Controller，且后续会继续无缝集成。MSE注册中心：注册中心...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
AM：amplus公司',user_name varchar(50)COMMENT '用户户籍名,FOA存亲友户籍名',phone_number varchar(100)COMMENT '手机号',is_after_sales tinyint(1)COMMENT '可售后标记 1-是 0-否',is_invoice tinyint(1)COMMENT '是否开票 1-是 0-否',is_invoiceable tinyint(1)COMMENT '是否可开票，补开场景会使用 1：是 0：否',文档...
- 产品推荐
- 这些文档可能帮助您