云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
工业生产数据链路上下游各方围绕阿里云Lindorm数据云平台，将数据进行同构、汇聚、融合，打破工业场景IT数据和OT数据割裂的“信息孤岛”，实现高效的信息传递和资源配置，驱动工业制造场景数智升级.高压缩比，数据冷热分离，支持多存储规格.存储计算分离架构，支持独立伸缩，自动化扩容.存算一体化设计，支持多种分布式计算...
来自：
云产品
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
最佳实践频道 阿里云最佳实践分享群 阿里云 EMR HBase on OSS存算分离 集群快速恢复 最佳实践 文档版本：20220915（发布日期）EMR HBase on OSS存算分离集群快速恢复 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 EMR HBase on OSS存算分离集群快速恢复 文档编号 306 文档版本 V1.1 版本日期 2022-09-15 文档...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
MRACC加速倚天 ECS实例 Flink集群性能 最佳实践 场景描述 本方案为 Flink集群 On阿里云 ECS部署提供一 个性能压测场景，ECS选择倚天 ARM架构实 例。在这个场景中，本方案将提供一个一键部署 的架构模板，并预置了相关软件的安装和压测脚 本的部署，为客户提供一个标准化环境用于测试 Flink 集群 On 倚天实例的性能。应用...
中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案，助力自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发。
基于阿里云 E-MapReduce、OSS、边缘网络加速等产品及服务，帮助自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原自建 Hadoop 组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发.谢赟辉,靖鑫,也树.中小企业自建Hadoop集群上云解决方案.本方案核心产品延续开源...
来自：
解决方案
微服务中心解决方案
注册中心和配置中心是 Dubbo 和 Spring Cloud 微服务架构中的重要组件，往往采用 ZooKeeper/Nacos/Eureka/Apollo 等开源方案进行自建，但因其依赖复杂，往往给客户带来的较高的建设和运维成本，同时，在 Hbase、Spark或Kafka 等大数据的环境下，会依赖 ZooKeeper 进行分布式系统的协调，此时，基于云上的托管服务，可以极大的降低运维复杂度，并提高应用可用性。
阿里云微服务中心解决了依赖 ZK/Nacos/Eureka 等开源注册和配置方案进行自建过程中引起的依赖复杂、建设和运维成本高的问题，同时，降低了在 Hbase、Spark或Kafka 等大数据的环境下的分布式系统协调难题，旨在打造云上微服务运维体系的闭环.谢赟辉,靖鑫,也树.微服务中心解决方案.本方案基于多源异构大数据的汇聚共享和交通...
来自：
解决方案
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
您可以登录阿里云控制台，并前往实名认证 页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否已经完成 实名认证。阿里云账户余额大于 100 元。您可以登录阿里云控制台，并前往账户总览页面（https://expense.console.aliyun.com/#/account/home）查看账户余额。开通以下服务：ￚ NAT网关 NAT ￚ 负载均衡...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
说明：以上的方式使用的是开源 jdbc connector 写阿里云 RDS，因此在上述步骤 5中需要额外增加“附加依 赖文件”，实时计算 Flink全托管版集群内置提供了商业 化的 RDS connector，用户也可替换开源 jdbc connector，具体可参考产品官网文 档：https://help.aliyun.com/document_detail/185222.html 2.2. Datastream JAR...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
您可以登录阿里云控制台，并前往实名认证 页面（account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名认 证。 阿里云账户余额大于100元。您可以登录阿里云控制台，并前往账户总览页面（expense.console.aliyun.com/#/account/home）查看账户余额。 开通以下服务：ˉECS：详情请参见ecs.console.aliyun....
容器服务Serverless版
容器服务Serverless版是一款基于阿里云弹性计算基础架构，完全兼容Kuberentes生态，安全、可靠的容器产品。通过该产品，无需管理和维护节点即可快速创建Kuberentes容器应用，并且根据应用配置的CPU和内存资源量按需付费，使您更专注应用本身，而非运行应用的基础设施。
基于阿里云弹性容器实例ECI，应用Pod之间相互隔离防止互相干扰.Kubernetes兼容.可通过 Kubernetes 命令行和 API 来部署容器应用，无需修改就支持 Kubernetes 典型应用场景.简化Kubernetes集群管理.无需管理服务器和节点，无需维护固定资源池，低运维管理成本，让用户聚焦业务应用.基于ECI提供丰富的Pod功能.支持指定Pod底层...
来自：
云产品
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
EMR可 以 部 署 在 阿 里 云 公 有 云 的 ECS 和 ACK、专 有 云 平 台。（https://www.aliyun.com/product/emapreduce）。数据湖构建 Data Lake Formation（DLF）：数据湖是一个集中式存储库，可存储 任意规模结构化和非结构化数据，支持大数据和 AI计算。数据湖构建（Data Lake Formation，DLF）作为云原生数据湖架构核心...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
提供丰富的消息类型，满足各种严苛场景下的高级特性需求，当前支持的消息类型涵盖 全面支持阿里云 RAM 主子账号、黑白名单、STS 等功能，支持 TLS 传输加密协议、阿里云 VPC 访问等；高可用松耦合架构设计.通过上、下游业务系统的松耦合设计，即便下游子系统（如物流、积分等）出现不可用甚至宕机，都不会影响到核心交易...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
客户也可以根据自己的需求，使用阿里云 Kafka和阿里云日志服务作为数据接入 组件。此方案的数据流为：日志发生器→Datahub→MaxCompute；使用阿里云 kafka 的数据流为：日志发生器→Kafka→MaxCompute；使用 SLS 日志服务的数据流为 Logtail（或 Log SDK）→SLS→MaxCompute。5.1.创建 Datahub工程和 Topic 步骤1 登录到 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
数据一致性校验 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 CDH迁移升级 CDP 最佳实践 文档版本：20211029 文档版本：20150122（发布日期）II CDH迁移升级 CDP最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 CDH迁移升级 CDP最佳实践 ...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2.4.DLF授权MaxCompute访问 步骤1 此方案的DLF和MaxCompute属于同一个阿里云账号，所以可以通过一键授权完成 https://ram.console.aliyun.com/?spm=a2c1f.8259796.3.5.444f96d573YIyc#/role/aut horize?request=%7B%22Requests%22:%20%7B%22request1%22:%20%7B%22R oleName%22:%20%22AliyunODPSDefaultRole%22,%20%22...
- 产品推荐
- 这些文档可能帮助您