云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
消息队列 Kafka 版.消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署...云消息队列 Kafka 版发布者与订阅者的最佳实践.78A_文档与工具.
来自：
云产品
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
echo"ElasticSearch服务器的私网 IP地址 elasticsearch">>/etc/hosts 步骤3 执行下面命令，将自动下载并解压 Logstash和一个样例配置文件，并启动 Logstash 工具，配置文件中将 Magento的接入日志/var/log/httpd/magento-access_log内容作 为输入，并输出到 ElasticSearch的索引 magento_access_logs中。cd~#wget ...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
以MaxCompute为核心代表的阿里云数仓挺进全球卓越表现者象限.89A_活动与推广组件-new.为业务敏捷而生的简单、易用、全托管的 SaaS 模式云数据仓库服务>.89A_产品优势标题-new.通用icon文字列表.面向数仓优化高性能存储、计算；多服务预集成、标准SQL开发简单；内建完善的管理和安全能力；免运维，按量付费、不用不花钱.匹配...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤3 选择按量付费模式，其他参数本实验采用默认配置，确认地域、可用区、VPC都与 game-server服务器配置相同即可。步骤4 在确认订单页面，确认各项信息，确认无误，勾选相关服务协议，并单击立即开通。文档版本：20201224 26 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤5 返回云数据库 ClickHouse集群...
阿里云大数据&AI
阿里云大数据和AI产品服务。开放数据处理服务ODPS提供强大的数据分析和管理功能；开源大数据产品支持更加灵活地构建大数据平台；AI和机器学习产品提供AI工程平台和智算服务。
国内唯一挺进Forrester全球云数据仓库Wave卓越表现者象限.2021年3月，MaxCompute、DataWorks 等进入 Forrester Wave 2021 Q1 云数据仓库卓越表现者象限，成为入选此次评测的唯一中国厂商。以 MaxCompute 为核心代表的云数仓已然成为中国受欢迎的云数据仓库服务.阿里云获2021中国数据治理平台市场份额第一.IDC发布《中国数据...
来自：
云产品
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
社区有个 docker compose转 k8s的转换工具 kompose，可以一键将 compose文件转换为 k8s部署文件。PiggyMetrics中的 docker compose模版为 2.1版 kompose不支持，所以需要把 compose 文件改为版本 2，去除 kompose不支持的语法，如 depends_on:config:condition:service_healthy#不支持 condition 增加 k8s server type ...
云工作流
云工作流 CloudFlow 是一个用来协调多个分布式任务执行的全托管 Serverless 云服务，用户可以用顺序、分支、并行等方式来编排分布式任务，服务会按照设定好的顺序可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。
云工作流 CloudFlow.云工作流（CloudFlow）是用来协调多个分布式任务执行的全托管 Serverless 云服务，简化开发、运行业务流程需要的任务协调、状态管理和错误处理等繁琐工作。用顺序、分支、并行等方式编排分布式任务，服务按照预设顺序协调任务执行，跟踪任务的状态转换，必要时执行用户定义的重试逻辑，确保工作流顺利...
来自：
云产品
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
配置项 说明 地域 华北 2（北京）存储类型 容量型 协议类型 NFS（包含 NFSv3和 NFSv4）可用区 华北 2 可用区 H 文档版本：20191127 26 基因计算工作流最佳实践 工作流配置 步骤4 单击新建文件系统操作列下的添加挂载点。步骤5 在添加挂载点页面，参考下表，配置相关参数，并单击确定。配置项 说明 挂载点类型 专有网络 VPC...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
cd/opt/oss-copy fun package-b bp118-src-bucket fun deploy-use-ros-stack-name oss-cp-p 'SrcBucket=bp118-src-bucket'-p 'DestBucket=bp118-dest-bucket '-p 'DestOssEndpoint=oss-accelerate.aliyuncs.com' 步骤2 查看增量工作流，增量数据复制依赖于函数计算的 OSS 触发器，当有新文件上传或 者文件更新时，OSS 会...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
用户可以用顺序、分支、并行等方式来编排分布式任务，FnF 会按照设定好的顺序可靠地协调任务 执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工 作流顺利完成。详见 https://cn.aliyun.com/product/fnf 日志服务（SLS）:行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
文档版本：20220810 34 ECS+EAIS弹性伸缩 创建 Serverless工作流流程 步骤5 创建流程 步骤6 创建好后的流程定义如下图所示：文档版本：20220810 35 ECS+EAIS弹性伸缩 创建 Serverless工作流流程 文档版本：20220810 36 ECS+EAIS弹性伸缩 模拟定时扩缩容任务 6.模拟定时扩缩容任务 步骤1 在流程页面，点击开始执行 步骤2 ...
- 产品推荐
- 这些文档可能帮助您