CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
ssh slave1 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave1:/usr/java/jdk1.8.0_301 ssh slave2 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave2:/usr/java/jdk1.8.0_301 ssh slave3 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave3:/usr/java/jdk1.8.0_301 给与/...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
技术栈：JavaSpringCloud JDK：JDK1.8 注册中心：Nacos 这两个工程会分别产出两个不同的版本（输出文本不一样），目的是为了验证SAE和ACK互 通时调用链路能看的更清晰。届时验证时会有四种请求链路： Consumer（ACK）->Provider（ACK） Consumer（ACK）->Provider（SAE） Consumer（SAE）->Provider（ACK）...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
1.在 Oracle官网上下载 JDK安装包再解压并放置在开发管理机的/usr/local/jdk1.8，然后配置环境变量并使环境变量生效（配置环境变量过程）。2.执行 source/etc/profile使环境变量修改生效，生效以后效果如下图所示：步骤7 上传测试文件。首先将本地的测试文件上传到开发管理机的 root 目录下，然后在开发管理机的 root 目录...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
通过 yum安装的 JDK，安装目录在/usr/lib/jvm，通过 ls-l命令查看会发现很多的链 接。通过 vim命令将下面内容添加到/etc/profile 文件末尾，保存后退出：1.编辑/etc/profile 文件。vim/etc/profile ……#Added for JAVA export JAVA_HOME=usr/lib/jvm/jre 文档版本：20210714 18 自建Hadoop数据迁移到阿里云 EMR 自建 ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
通过 yum安装的 JDK，安装目录在/usr/lib/jvm，通过 ls-l命令查看会发现很多的链 接。通过 vim命令将下面内容添加到/etc/profile文件末尾，保存后退出：1.编辑/etc/profile文件。文档版本：20210425 9 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 vim/etc/profile….#Added for JAVA export JAVA...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
ￚ 集群类型：ECS集群 ￚ 应用运行环境：Java Open JDK 8 ￚ 应用名称：本实践设置为 auth-service。配置完成，单击下一步。文档版本：20200106 54 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 3.在应用配置向导页，选择应用的 JAR包和部署的 ECS，并单击下一步。ￚ 部署包来源：自定义程序 ￚ 文件上传...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
从本最佳实践 git库下载文件 RedisClient.java：cp RedisClient.java/root/YCSB/redis/src/main/java/site/ycsb/db/步骤3 安装 JDK。下载 JDK。https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html vim .bash_profile 文档版本：20210120 47 在线教育流量洪峰最佳实践 附录 测试环境安装 步骤4 ...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
ssh root@步骤2 安装 JDK，maven编译环境。cd/root yum install-y java java-devel wget-no-check-certificate ...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
使用 Java代码方式生成公私钥（可选）JWT 认证鉴权时需要公钥私钥信息，本案例中我们直接通过 jdk 自带的 java.security.KeyPairGenerator工具类生成公私钥，生成的公私钥的测试代码如下：import java.security.KeyPair;import java.security.KeyPairGenerator;import java.security.PrivateKey;import java.security....
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
安装 jdk sudo yum-y install java-11-openjdk*#查看 java目录 ll/usr/lib/jvm 步骤2 配置环境变量。cat>>/etc/profile Stack Management。步骤2 在左侧导航栏选择 Kibana>Index Patterns，单击 Create index pattern。步骤3 输入 intex pattern name，本实践输入已创建的 trading_order。单击 Next Step。文档版本：...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
配置环境变量文件，将（注意 JDK版本修改 JAVA Home路径）：export JAVA_HOME=usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 拷贝到 flume-env.sh文件中。4.配置任务：a1.sources=logfile a1.channels=memoryChannel a1.sinks=k1 a1.sources.logfile.type=exec a1.sources.logfile.command=tail-F/var/log/...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
安装 1.8或以上版本 JDK,请参考：https://www.oracle.com/java/technologies/javase-downloads.html 安装 2.5或以上版本 Maven，请参考：https://maven.apache.org/download.cgi 安装 2.3或以上版本 Docker，请参考：https://www.docker.com/get-started 文档版本：20201127 2 基于ECI+FaaS构建游戏战斗结算服 游戏通识介绍...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
安装 1.8或以上版本 JDK,请参考：https://www.oracle.com/java/technologies/javase-downloads.html 安装 2.5或以上版本 Maven，请参考：https://maven.apache.org/download.cgi 安装 2.3或以上版本 Docker，请参考：https://www.docker.com/get-started 文档版本：20210519 2 新零售商超基于 Serverless服务化改造 前置...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
安装 1.8或以上版本 JDK,请参考：https://www.oracle.com/java/technologies/javase-downloads.html 安装 2.5或以上版本 Maven，请参考：https://maven.apache.org/download.cgi 文档版本：20201224 3 基于 Flink+ClickHouse构建实时游戏数据分析 关键技术选型 1.关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
文档版本：20200331 37数据湖-在线学习场景数据分析 应用场景 步骤1 首先在webserver上安装java#安装jdk sudoyum-yinstalljava-11-openjdk*#配置环境变量 cat>>/etc/profile:/root/ssh登录到EMRHadoop 集群的Master节点，执行命令：cd hadoopfs-mkdirjfs:/datalake/lib/hadoopfs-putnginx_url_parse-1.0.jarjfs:/datalake/...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例，将...注意：确保使用 JDK1.8版本 MC Studio介绍 https://help.aliyun.com/document_detail/50889.html IntelliJ IDE安装 https://help.aliyun.com/document_detail/50891.html?sp m=a2c4g.11186623.6.934.6ed675c4KeGBvW MC studio插件安装 ...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
阿里云 为云下 IDC赋能-组建多可用区 多地域的混合云(专线)最佳实践 文档版本：20210805 组建多可用区多地域的混合云(专线)最佳最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 为云下 IDC赋能-组建多可用区多地域的混合云(专线)最佳实践 文档编号 020 文档版本 V1.3 版本日期 2021-08-05 文档状态 外部...
- 产品推荐
- 这些文档可能帮助您