数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
运行环境 ossimport可以部署在 Linux或 Windows系统上，要求如下：Windows7及以上版本 Linux系统最新版本 Java 1.7及以上版本 注意 分布式部署暂时不支持 Windows系统。部署方式 单机模式：当您需要迁移的数据小于 30TB 时，推荐部署单机模式。您可以将 ossimport部署在任意一台可以访问您待迁移数据，且可以访问 OSS的机器...
容器镜像服务
阿里云容器镜像服务（简称 ACR）是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。 ACR 支持全球同步加速、大规模/大镜像分发加速、多代码源构建加速等全链路提效，与容器服务 ACK 无缝集成，帮助企业降低交付复杂度，打造云原生应用一站式解决方案。
在ACK、FC等云产品中使用ACR镜像部署应用.10分钟迁移自建Harbor至ACR企业版.Java项目容器化构建最佳实践.基于ACK One和ACR构建应用的全自动化GitOps交付实践.容器DevSecOps全链路体验.企业版实例与个人版实例有什么不同？10分钟迁移自建Harbor至容器镜像服务企业版.这些产品中都可以轻松使用ACR.按需加载容器镜像，享受极致...
来自：
云产品
MSE实现全链路灰度
MSE微服务治理为多应用发布提供全链路灰度能力，让客户不修改业务代码的情况下实现全链路流量控制。
MSE 微服务治理能力基于 Java Agent 字节码增强的技术实现，用户无需修改代码即可使用，提供无侵入、接入简单的全链路流量灰度管理。简单配置后，MSE会自动为经过灰度环境的流量做标记，从而进行全链路的灰度路由，保证流量在灰度环境中闭环。—— 来电科技解决方案推荐部署Nginx并通过Ingress暴露和监控服务在阿里云容器...
来自：
解决方案
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
export JAVA_HOME=usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_H OME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 文档版本：20220223（发布日期）35 基于 Flink的资讯场景实时数仓 基础环境部署 3.执行 source/etc/...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
export JAVA_OPTS="$JAVA_OPTS-Djava.security.auth.login.config=etc/ecm/flume-conf/flume-emr-kafka-jaas.conf.conf"步骤3 修改 flume-ng文件中-Xmx参数，将默认值 20MB修改为 512MB，表示为 JVM运行 过程中分配的最大内存。cd/usr/lib/flume-current/bin cp flume-ng flume-ng.bak.original sed-i"s/Xmx20m/Xmx512m/g...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
适合大量数据清洗，Streaming，编写Java、Scala、Python等SQL难表达的场景.采用Serverless形态，支持Presto和Spark两种引擎，集群分钟级弹性扩缩容，相比线下部署机房成本更低.丰富的产品系列，全面覆盖多种场景需求.CU时资源包.采用按量付费+资源包的付费模式，适用于业务量波动较大且频繁场景。用资源包抵扣数据湖分析...
来自：
云产品
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
一键接入常见云服务，覆盖数据库、中间件等主流应用组件，以及 Java/Go 等主流编程语言构建的应用，支持 ECS 集群中间件的免 Agent 安装监控.创建对应组件的 Exporter，完成数据接入.基于云上存储，存储容量无上限.受限于存储容量.内置 Grafana，各类常见监控模板开箱即用.需要单独部署 Grafana，并自行配置看板.集成 ARMS ...
来自：
云产品
大数据workshop
大数据workshop
yum search java|grep java-1.8.0-openjdk yum install java-1.8.0-openjdk.x86_64-y 文档版本：20210628（发布日期）27 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 2.下载安装之后默认的目录为：/usr/lib/jvm/，ll命令查看目录：3.根据实际情况来配置环境变量，如下示例(注意先查看自己当前的版本替换 java home路径...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
消息服务MNS
消息服务 MNS 是一款易集成、高并发、可弹性扩展的轻量消息队列服务。消息服务的轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
多种语言SDK：C++、Java、C#、Python、PHP、golang(第三方)、Node.js(第三方).MNS 是标准的 Serverless 化产品，可处理近乎无限的并发请求，无需感知或预先配置任何集群信息，拆箱即用；同时采用后付费计费方式，无需预留任何实例资源，只为实际使用量付费.稳定性方面数据三重备份，可靠性达 99.99999999%；服务可用性高达 ...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
本地具备 Java应用开发 IDE工具例如 IntelliJ IDEA 以及 Maven，同时具备一定 的 Java应用开发能力。本实践所有重要示例代码和命令行可以从如下 git地址获取：git@code.aliyun.com:best-practice/160.git 文档版本：20200409 1 Spark on ECI大数据分析 方案背景 方案背景 场景需求 云原生和大数据时代的到来,用户在拥抱云...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
执行命令“shinstall_env.sh”，安装Java Runtime、RocketMQ压测软件，启动压测工作进程：步骤5 修改/root/openmessaging/benchmark/workers.yaml 文件，将上面获取的 ecs-producer和ecs-consumer的内网IP地址配置到URL中，如下：文档版本：20240506 25RocketMQ性能压测快速方案 一键释放资源 步骤6 修改/root/...
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
《JAVA 应用排查全景图》.详细阐述云原生架构定义，完整展示云原生架构应用所需的演进路径与设计规则，帮助企业更好地理解与应用云原生架构，助力企业数字化转型升级.《云原生架构白皮书》.图片56*56(不可与icon共存）.图片logo.icon名称(不可与图片logo共存）.icon名称.不填写不展示.包含前端监控、应用监控、云拨测，覆盖...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
java-jar game-server-0.0.2-SNAPSHOT.jar-spring.profiles.active=prod&文档版本：20201224 40 基于 Flink+ClickHouse构建实时游戏数据分析 游戏服构建 步骤14 验证，进行可用性、连通性测试,访问游戏服对外暴露的接口/api/v1/game-server 文档版本：20201224 41 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 5....
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
vi/etc/profile 在文件末尾加入以下内容：export JAVA_HOME=usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/to ols.jar export PATH=$PATH:$JAVA_HOME/bin 3.使新增的全局变量生效。source/etc/profile 4.确认安装成功...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
注释：可以参考会员服务 src/main/java/resources/template.yml文件 步骤3 本地快速进行会员服务项目的构建和发布（详情请参见 3.4.3.通过工具的方式-创建函 数服务（推荐））。mvnw clean package fun build fun deploy-y 步骤4 登录函数控制台，查看函数服务 retail网络配置部分，确保最新的安全配置，已经发布 文档版本...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
文档版本：20210721 15 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 cd/usr/local/apache-hive-1.2.2-bin/lib 通过下面命令下载 MySQL Connector库文件 wget https://maven.aliyun.com/repository/central/mysql/\ mysql-connector-java/8.0.18/mysql-connector-java-8.0.18.jar步骤6 初始化源数据库。...
- 产品推荐
- 这些文档可能帮助您