大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute 该程序包的使用方法如下：java-jar kafka.test-with-dependencies-ip-port-topic.jar Kafka_IP Kafka_PORT Topic_NAME 本例中，app通过内网地址向 EMR Kafka集群的 topic message投递数据信息，因 此根据 EMR Kafka的内网地址 192.168.0.231:9092（参考章节 2.1，取其中一个地址即可，根据实际 IP进行替 换）。...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
文档版本：20200330 12 EMR集群安全认证和授权管理 EMR Kafka安全集群 2.EMR Kafka安全集群 本最佳实践中，将首先创建云上虚拟网络 VPC，后续所有云上资源都将规划在该 VPC 中，例如 RDS数据库、日志发生器、EMR Kafka集群、EMR Hadoop集群和 EMR网 关集群等。2.1.创建专有网络 VPC 步骤1 登录专有网络控制台，地域：华东 1...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
应用配置改造 步骤1 登录 adam-app ECS，修改应用的 JDBC driver,配置文件/root/130/pom.xml 原应用使用的是 Oracle的 driver包，现在换为 PolarDB的 driver包：新增的 driver配置是：edb edb.driver 1.8 system${project.basedir}/src/driver/edb.driver.jar 步骤2 修改应用 JDBC配置文件。root/130/src/main/resources/...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
尤其适合视频网站 使用，每天有大量的上传视频，需要及时转码处 理以适配各种终端及网络条件，要求短时间内准 备大量的计算资源进行大规模并行转码处理，同 时希望基于 FFmpeg自建的转码服务能简单迁 移。解决问题 1.如何使用 Function Compute 部署音视频 处理系统。2.如何进行系统的压测。产品列表 最佳实践频道 Function...
智能标签
智能标签，是通过对视频中视觉、文字、语音、行为等信息进行分析，结合多模态信息融合及对齐技术，实现高准确率内容识别，自动输出视频的多维度内容标签，将非结构化信息转化为结构化信息。可应用于视频智能分析、视频审核、视频搜索、视频个性化推荐，助力视频智能生产。
视频直播（ApsaraVideo Live）是基于领先的内容接入与分发网络和大规模分布式实时视频处理技术（含窄带高清TM）打造的音视频直播平台，提供易接入、低延迟、高并发、高清流畅的音视频直播服务.智能媒体生产，是将视频AI的多种能力与视频云基础服务打通，赋能视频生产环节，提高视频生产的效率和质量.03A_更多产品与服务....
来自：
云产品
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
说明：关于文件格式转换，TensorFlow官方提供了一个 freeze_grpah.py脚本用 来将 ckpt 文件转为 pb 文件。链接如下：31 企业上云实践 基于弹性计算的 AI推理|部署 Mobilenet推理demo https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/tools/fre eze_graph.py 2. 基于 checkpoint文件的推理步骤。3....
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
社区有个 docker compose转 k8s的转换工具 kompose，可以一键将 compose文件转换为 k8s部署文件。PiggyMetrics中的 docker compose模版为 2.1版 kompose不支持，所以需要把 compose 文件改为版本 2，去除 kompose不支持的语法，如 depends_on:config:condition:service_healthy#不支持 condition 增加 k8s server type ...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
缓存模式最大的特点就是兼容性，保持了OSS原有的对象语义，集群中仅做缓存，因 此JindoFS和OSS客户端、OssFileSystem等，或者其他的各种OSS的交互程序是 完全兼容的，对原有OSS上的存量数据也不需要做任何的迁移、转换工作即可使用。同时集群中的数据和元数据缓存也能一定程度上提升数据访问性能。本文中方案使用了JindoFS...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
在创建前，您需要结合具体业务，规划 VPC 和 交 换 机 的 数 量 及 网 段 等。官 网 链 接：https://help.aliyun.com/product/27706.html RAM:访问控制（Resource Access Management，RAM）是阿里云提供的一项管 理用户身份与资源访问权限的服务。使用 RAM，您可以创建、管理 RAM用户（例 如员工、系统或应用程序），并可以...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
从数据集解压出的数据为二进制格式，执行read_all_images(path_to_data)方法 加载数据并转换为 NHWC（batch,height,width,channels）格式，以便用 Tensorflow提取图片特征。28 RAPIDS加速图像搜索 单机部署图搜应用 步骤3 展示图片。执行show_image(image)方法随机展示一张数据集中的图片。步骤4 分割数据集。按照 9:1的...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
步骤3 配置同步表、字段与类型转换，字段类型映射不建议全部选用默认，根据需求做定制，其中 Boolean在 MySQL中表现为 tinyint(1)，需要主动设置成 Boolean，时间默认使 用 String如需转换为时间戳，目标类型主动配置成 Integer类型。文档版本：20210519 18 新零售商超基于 Serverless服务化改造 架构环境搭建 文档版本：...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
注意：这里另个过程中，ETL都是用的 GPU，第二次运行的时候，只是训练部分从 GPU换成了 CPU。并且，由于这里代码的限制，在 CPU上进行训练的时候，只能 用一个 CPU core来跑，所以，这里不能简单对比运行的时间来比较 CPU和 GPU的 差别。应该修改代码，使得 CPU上能跑多线程，再来对比 CPU和 GPU的效率，另外从解 决方案的...
两地三中心异地多活网络
基于阿里云洛神网络全球基础设施及云原生SDN技术，帮助企业客户在云上快速构建两地三中心跨域多活网络，保障企业核心业务在全球多地域的高品质互联。
实际情况中可能部分实例无法购买需要根据实际情况调整资源规格，同时因您操作过程中实际使用的流量差异，会导致费用有所变化，请以控制台显示的实际报价以及最终账单为准）弹性公网IP 云企业网 转发路由器 数据传输服务 云原生数据库 PolarDB MySQL 版 云解析DNS 负载均衡 应用场景 技术方案的广泛应用场景 异地多活 企业...
来自：
技术解决方案
企业云上网络架构规划
企业云上网络架构规划方案能够为企业提供面向业务的网络架构，确保业务的可靠性，并保持架构的可扩展性和可持续性，以满足未来企业业务增长所需的资源扩容和架构升级。
实际情况中可能部分实例无法购买需要根据实际情况调整资源规格，同时因您操作过程中实际使用的流量差异，会导致费用有所变化，请以控制台显示的实际报价以及最终账单为准）专有网络VPC 云企业网 转发路由器 云服务器 ECS 应用场景 应用场景 企业IDC迁云 企业从IDC搬迁到云上，构建基于业务逻辑的云上网络整体架构，满足企业...
来自：
技术解决方案
跨地域跨账号网络互通方案
跨地域跨账号网络互通方案支持跨地域、跨账号的网络互通，可实现企业云上一张网。当客户业务遍及多地，并且在阿里云多个账号多个地域均部署了服务时，采用该方案可以实现云上资源的灵活使用，提高了企业组网的灵活性和效率，并保障了企业数据的安全性和可控性。
实际情况中可能部分实例无法购买需要根据实际情况调整资源规格，同时因您操作过程中实际使用的流量差异，会导致费用有所变化，请以控制台显示的实际报价以及最终账单为准）云企业网 专有网络VPC 云服务器 ECS 应用场景 技术方案的广泛应用场景 大规模互联网应用多地域部署 互联网应用可根据用户群体分布范围及系统需求，...
来自：
技术解决方案
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
文档版本：20240429 33基于MSE云原生网关实现全链路灰度最佳实践 步骤8测试灰度版本流量 使用curl命令测试灰度流量，其中公网ip替换成mse网关的公网ip。测试命令 curl-H"canary:gray"47.115.37.14/a#测试结果 Agray[192.168.0.117]->B[192.168.0.114]->Cgray[192.168.0.116]如测试结果所示，流量经过了A、C的灰度环境，由于...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 管理云产品实例，比如ECS、负载均衡、RDS等。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云 架构管理的产品，显著地降低应用云上管理...
- 产品推荐
- 这些文档可能帮助您