云存储解决方案
云存储解决方案面向大数据存储、多媒体存储（视频存储）、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。
基于多副本分布式技术，提供99.9999999%数据持久性.集成了阿里云云存储网关的企业级统一存储阵列.是一种预付费存储售卖形态，可抵扣按量付费账单.主要满足海量结构化数据的存储需求.为企业关键业务提供容灾服务，保障业务连性.提供实时数据的采集/清洗/分析/可视化服务.标题-copy-copy-copy-copy-copy.存储新人入门，存储...
来自：
解决方案
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
EMR本地盘实例大规模数据集测试 最佳实践 方案架构 场景描述 阿里云为了满足大数据场景下的存储需求，在 云上推出了本地盘 D1机型，这个系列提供了 本地盘而非云盘作为存储，提高了磁盘的吞吐 能力，发挥 Hadoop的就近计算优势。阿里 云 EMR产品针对本地盘机型，推出了一整套 的自动化运维方案，帮助用户方便可靠地使用 ...
块存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储，拥有丰富的产品类型，多元的存储特性，适用于自建数据库加速，快照数据保护等场景，ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力，有效提升存储性能，大大降低成本。
云盘基于多副本技术，提供99.9999999%的数据持久性.单块云盘高达100万随机IOPS、4000MBps顺序吞吐，灵活选择.单盘支持最大32TB，单台服务器支持16块数据盘，自由配置随时扩容.快照实现简单高效的数据备份，支持云盘加密，满足合规要求.热门块存储类型及场景.大型OLTP数据库.￥1元/GB/月起.超高性能，低时延，按照性能区间...
来自：
云产品
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
服务特性 OSS-HDFS服务支持的特性如下：HDFS兼容访问 OSS-HDFS 服务完全兼容 HDFS 接口，同时支持目录层级的操作，您只需集成 JindoSDK，即可为 Apache Hadoop的计算分析应用（例如 MapReduce、Hive、Spark、Flink等）提供了访问 HDFS服务的能力，像使用 Hadoop分布式文件系 统（HDFS）一样管理和访问数据。POSIX能力支持 ...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
支持实时在线分析系统和类似于Hadoop之类的离线分析系统；淘宝、天猫平台等公司每天都会产生大量的日志。Kafka 性能高效，同时 Kafka 的特性决定它非常适合作为\\.网站所有用户产生的行为信息极为庞大，需要非常高的吞吐量来支持；可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统；高吞吐，...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
Kafka的目的是通过 Hadoop的并行加载机 制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka相关术语：Broker Kafka集群包含一个或多个服务器，这种服务器被称为 broker。Topic 每条发布到 Kafka集群的消息都有一个类别，这个类别被称为 Topic。（物理上不 同 Topic的消息分开存储，逻辑上一个 Topic的...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
名词解释 EMR：Hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera 对 Hadoop 做了相应的改变。Cloudera 公司的发行版，我们将该版本称为 CDH(Cloudera Distribution Hadoop)。EMR是云原生开源大数据平台，向客户提 供简单易集成的 Hadoop、Hive、Spark、Flink、Presto、ClickHouse、Delta、Hudi 等开源...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
基 于阿里云分布式文件系统和 SSD盘高性能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容 Oracle数据库）和 MariaDB TX引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解 决方案。详见：https://www.aliyun.com/product/rds/mysql 负载均衡 SLB：阿里云提供全托管...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
2.关于 Hadoop的核心配置文件的说明介绍如下图所示：文档版本：20200409 5 Spark on ECI大数据分析 环境准备 3.修改 core-site.xml文件，路径位于 Hadoop目录下的/etc/hadoop/目录下。步骤5 配置环境变量。1.修改/etc/profile文件并保存。2.在配置最后加入相应路径信息。3.执行 source/etc/profile命令以便环境变量配置生效...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
已解决：在 Cloudera Runtime 7.1.6 中引入了新的基于 JSON 的放置规则格式和新 的放置规则评估引擎。它们解决了许多以前的放置规则迁移限制。基于阿里云部署的 CDP版本已解决该问题。3.3.4.3.动态队列的容量值是固定的 在 Fair Scheduler 中，每次创建新队列时都会重新计算公平份额。相比之下，Capacity Scheduler 为动态...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
适用场景 Flink各类任务如何迁移 数据准确性如何校验 业务稳定性如何验证 Flink集群容量如何评估 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20211222 1 开源 Flink迁移实时计算Flink全托管版 最佳实践概述 迁移实施流程如下：方案优势 您只需要专注于业务开发，无需关心集群运维。...
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
了解详情 插件丰富，提供多模计算能力 内置超过100款插件，基于业务场景下沉，为不同行业客户量身打造场景化的能力 支持处理空间/时空信息 阿里云自研Ganos多模态时空数据库引擎，基于GeoSQL轻松管理几何、栅格、路径、轨迹、地理网格等空间数据，广泛服务于交通物流、共享出行、资源管理等领域。了解详情 支持全文搜索 ...
来自：
云产品
混合云容灾HDR
阿里云混合云容灾HDR是为数据中心提供企业级应用的本地备份与云上容灾一体化服务。无需自建灾备中心、云下部署简单、云上资源全自动管理、控制台集中管控等。可提供低至秒级RPO和分钟级RTO的容灾服务，有效保障客户数据安全和业务连续性，相对自建灾备中心的方案，最多可节约高达 80% 的费用。
为了对智能制造的趋势以及数字化的全面转型，康斯特基于专业的技术与服务能力，与阿里云合作，经过深入交流沟通后，根据康斯特自身的业务和数据的特性，最终采用了全能备份型灾备解决方案，实现本地到云端的混合云架构部.阿里云混合云存储满足数据在本地数据中心和公共云之间的无缝流动。利用云端存储高可靠性，将医院海量...
来自：
云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
云消息队列 RocketMQ 版是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台。RocketMQ 自诞生以来一直服务阿里集团十余年，历经多次双十一万亿级数据洪峰稳定性验证.云消息队列 RocketMQ 版 Serverless 系列资源包，新用户专享 59 折优惠！RocketMQ 版 Serverless ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您