Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
使用 sed命令替换转储文件中的 Location相关信息，其中蓝色字体和红色字 体内容可以在步骤 2中分别查看到：sed-i"s/hdfs:\/\/master:9000/oss:\/\/databricks-data-source/g"hive_databases.sql 文档版本：20210425 31 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 Hive数据迁移 其中红色字体为数据存储在 oss...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
传统的Hadoop 方案中原始数据和ETL之后的数据都存储于HDFS，随着业务数据量增大，特别是在 线教育学习平台，文本、图片、音频、视频等文件对于数据存储的需求非常大，对大 数据集群规模的压力越来越大，对存储的压力越来越大，集群扩展时DataNode节点 需要退役更换，移动数据的成本很大，造成集群扩展的时间太长。...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包 文档版本：20191010（发布日期）云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 利用低成本链路 完成业务数据迁移上云 最佳实践 文档版本：20150122（发布日期）2 利用低成本链路完成业务数据迁移上云 ...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
3.下载对象：客户端首先会从 OSS服务端下载加密的对象以及作为对象元数据存储 的数据密文密钥(Encrypted data key）。4.解密数据：客户端将数据密文密钥(Encrypted data key）以及 CMK ID发送至 KMS 服务器。作为响应，KMS将使用指定的 CMK解密，并且将数据明文密钥(Data key)返回给本地加密客户端。本实践中，通过一个 ...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
云企业网可帮助您在不同地域 VPC间，VPC与本地数据中心间搭建私网通信通道，通过自动路由分发及学习，提高网络 的快速收敛和跨网络通信的质量和安全性，实现全网资源的互通，帮助您打造一 文档版本：20201013 II 数据迁移上云最佳实践 前言 张 具 有 企 业 级 规 模 和 通 信 能 力 的 互 联 网 络。详见：...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据处理需求 区。的最佳实践。使用 DataWorks配置周期调度业务流程，数据自 产品列表 动入仓。借助 MaxCompute优化计算引擎，实现降本增 云服务器 ECS 效。云消息队列 Kafka 最佳实践频道 ...
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
更多信 息，详见：https://www.aliyun.com/product/bigdata/sc 数据总线 DataHub：是阿里云提供的流式数据(Streaming Data)服务，它提供流 式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构建基于流式数 据的分析和应用。详见：https://www.aliyun.com/product/datahub 对象存储 OSS（Object Storage Service...
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
ACK 整合了阿里云的虚拟化、存储、网络和安全能力，助力企业高效运行云端 Kubernetes 容器化应用。ACK集群系统架构管控面包含至少两个 kube-apiserver 实例和三个 etcd 实例，并部署在不同可用区以提供可用区级别的高可用性。容器服务 Serverless 版 ACK Serverless容器服务 Edge 版 ACK Edge云原生 AI 套件分布式云容器...
来自：
云产品
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
同城多可用区、异地容灾与数据自动备份 灵活YML/GC配置与场景化配置参数模板 20+系统插件及自定义插件灵活安装 支持上传同义词/分词，支持OSS词库动态加载 各类集群日志与云监控、高级监控的细粒度指标大盘 提供20+诊断项的健康检测，探测潜在风险 VPC访问及白名单配置，支持HTTPS访问协议 静态数据存储加密及SSL/TLS节点...
来自：
云产品
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
网络数据源调整公告 查看详情 2021-05-06 功能优化 函数计算WebIDE工具下线通知 查看详情 2021-06-25 新功能/规格 阿里云函数计算-资源套餐包（预付费）上线和包年包月（预付费）下线公告 查看详情 2021-07-31 其他 经典网络环境下的机器分批下线通知 查看详情 2021-12-12 新功能/规格 函数计算资源包支持申请 ICP 备案服务...
来自：
云产品
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力，是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案，助力客户应用轻松转型分布式架构，保证风险安全的同时帮助业务需求敏捷迭代，支撑金融业务创新，开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
该系统支撑亿级用户，一天数亿笔交易的能力，且并发交易每秒能处理数千笔，清算时间不到一小时，即使是在双十一网购狂欢节，支付成功率页高达 99.99%以上。信美相互 基于金融分布式架构 SOFAStack 技术和分布式数据库 OceanBase，保证其数据安全，异地多活秒级容灾，符合金融安全监管与合规要求，节省 80%IT 投入成本。国泰...
来自：
云产品
应用身份服务IDaaS
IDaaS是阿里云为企业用户提供的一套集中式身份、权限、应用管理服务，支持一个账号打通所有业务应用，统一控制多因子身份认证，集中管理的应用访问权限控制，集中透明的用户访问日志审计，助力企业解决单点登录问题，是5A统一身份认证管理系统。使用场景分为CIAM和EIAM，是国内第一家提供完整公有云、私有化 CIAM 解决方案的服务提供方。
阿里云 IDaaS 1.6 版本升级-风险识别、实人认证、钉钉的集成和更多功能 查看详情 2023-05-05 新地域/新可用区 国际站新加坡region开服 查看详情 2023-06-08 新功能/规格 通过私网连接AD/LDAP 查看详情 2023-07-05 新功能/规格 企业微信入方向-基础能力 查看详情 查看全部日志文档与工具帮助文档 点击查看 IDaaS 详情说明 ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您