数据湖构建 Data Lake Formation
数据湖构建服务是阿里云上数据湖架构中的核心部分,助力用户构建数据湖系统。支持多数据源实时入湖,实现湖上元数据统一管理,提供企业级权限控制,无缝对接多种计算引擎,打破孤岛,洞察业务价值
数据湖构建Data Lake Formation,DLF)作为云原生数据湖架构核心组成部分,帮助用户快速地构建云原生数据湖架构数据湖构建提供湖上元数据统一管理、企业级权限控制,并无缝对接多种计算引擎,打破数据孤岛,洞察业务价值.数据湖构建 Data Lake Formation.用户过亿的某在线教育平台.用户希望课件素材、应用日志、学习...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
数据湖开源大数据平台 E-MapReduce免费试用云原生开源大数据平台,为客户提供简单易集成的 Hadoop、Hive、Spark、StarRocks、Presto 等开源大数据计算和存储引擎数据湖构建 Data Lake Formation作为云原生数据湖架构核心组成部分,可帮助用户快速地构建云原生数据湖架构数据应用与可视化DataV 数据可视化一款数据可视化...
来自: 云产品
仓一体架构EMR元数据迁移DLF
<em>湖</em>仓一体<em>架构</em>EMR元<em>数据</em>迁移DLF
通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。
数据湖构建Data Lake Formation,DLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地 云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控 制,并无缝对接多种计算引擎,打破数据孤岛,洞察业务价值。(https://www.aliyun.com/product/bigdata/dlf)云速搭 CADT:是一款为上云应用提供...
来自: 最佳实践 | 相关产品:E-MapReduce,数据湖构建
阿里云大数据&AI
阿里云大数据和AI产品服务。开放数据处理服务ODPS提供强大的数据分析和管理功能;开源大数据产品支持更加灵活地构建大数据平台;AI和机器学习产品提供AI工程平台和智算服务。
阿里云云原生数据湖,由对象存储OSS、数据湖构建Data Lake Formation、E-MapReduce产品强强组合,提供存储与计算分离架构下,湖存储、湖加速、湖管理、湖计算的企业级数据湖解决方案.支持Hive/Spark/Presto/Flink 等10+计算引擎.丰富的开源引擎.独有的JindoFS加速能力,大规模集群优于HDFS,让数据分析如同本地一样快速高效...
来自: 云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一,面向不同业务场景,阿里云提供数据存储、分析、应用等全链路能力,满足企业客户全方位的数据处理需求,实现计算和存储分离、资源解耦、数据移动减化,用以满足行业快速发展的需求和趋势,利用数据重塑其业务。
数据湖构建 Data Lake Formation.数据可视化 DataV.数据可视化分析平台 Quick BI.数据总线 DataHub.数据集成 Data Integration.大数据专家服务.数据资源平台.智能数据建设与治理 Dataphin.Databricks 数据洞察.网络安全升级支持IPV6.天弘基金成立于2004年11月8日,是经中国证监会批准设立的全国性公募基金管理公司之一,...
来自: 云产品
云原生企业级数据湖解决方案
云原生企业级数据湖解决方案,数据湖解决方案,无缝对接多种计算分析平台,数据湖中的数据可以直接进行数据分析、处理。
OSS能支撑 EB 规模的数据湖,支持多种数据通道,全面覆盖日志、消息、数据库、HDFS 各种数据源•OSS 无缝对接EMR Hive、Spark、Presto、Impala 等大数据处理引擎,消除数据孤岛•阿里云 EMR 大数据专家级服务支持•阿里云 Data Lake Formation 提供数据湖元数据管理、数据湖加速等服务;EMR大数据专家级服务支持.WHY 阿里...
来自: 解决方案
大数据系统基准性能测试最佳实践
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
✓ 集成了数据湖构建Data Lake Formation),实现数据湖场景下多引擎的统一元数据管理。基准性能测试介绍 本示例提供两个测试脚本:Teragen&Terasort测试 文档版本:20210301 2 大数据系统基准性能测试最佳实践 最佳实践概述 ✓ Teragen程序会根据需要生成一些随机的数据,然后利用 Terasort将这些数据进行 sort排 序。是...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
基于仓一体架构使用MaxCompute对OSS湖数据分析预测
基于<em>湖</em>仓一体<em>架构</em>使用MaxCompute对OSS<em>湖数据</em>分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
检查EMR集群 本示例使用CADT架构模式创建了EMR集群,配置Hive元数据存储到数据湖构建。步骤1 快速登录到EMR控制台:点击EMR图标,点击“前往控制台”。步骤2 查看集群运行状态为“运行中”,集群类型、集群存储根路径为指定的地址。1.5.检查数据湖构建 步骤1 登录数据湖构建控制台(https://dlf.console.aliyun.com/),...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
企业云上网络架构规划
企业云上网络架构规划方案能够为企业提供面向业务的网络架构,确保业务的可靠性,并保持架构的可扩展性和可持续性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台企业云上网络架构规划方案介绍方案优势应用场景方案部署方案权益企业云上网络架构规划对于一些刚开始进行云上迁移的企业而言,需要在短时间内完成业务系统的迁移。在迁移过程中,首要步骤通常是进行整体网络设计,以满足业务需求并规划云上...
来自: 解决方案
云上公网架构设计和安全管理
云上公网的设计可以帮助企业更加统一、安全地管理自己的云上互联网出入口,同时可以实现统一监控运维和公网的成本优化。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云上公网架构设计和安全管理方案介绍方案优势应用场景方案部署方案权益云上公网架构设计和安全管理随着企业业务云化进程逐渐进入深水区,简单地使用云上资源出入公网已经无法满足业务的诉求,安全、成本、权限、监控等诉求的迭代,需要企业...
来自: 解决方案
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡<em>架构</em>
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
跨云迁移单写双读过渡架构 最佳实践 业务架构 场景描述 解决的问题 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户 数据迁移链路的高可用 需要跨云访问,如何保障数据链路的高可用尤为关 跨云迁移过渡期架构 键,采用专线和公网双备的方案保障数据传输的高 读写分类架构设计 可用,也降低双专线的迁移成本。阿里云最佳...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台,为DataX的商业版,支持ETL,支持50+数据源跨网络离线(全量/增量)同步。
为了快速数智化转型,拥抱新零售,新零售企业通过DataWorks构建数据中台,可以帮助企业降低TCO的同时,更好的依托云上生态,实现数据资产业务化闭环.新零售数据中台建设.业务多维分析.业务数据化,全域数据中台构建数智底座.数据业务化,数据综合治理驱动业务增长.实时计算Flink版.推荐搭配使用.随着新冠疫情等黑天鹅事件的...
来自: 云产品
架构必修课:云上高可用架构
从企业上云最基础的需求出发,面向可能遇到的单点故障风险,介绍了经典的业务上云高可用架构方案设计。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读业务面临的稳定性挑战如何提升业务稳定性方案介绍方案优势应用场景方案部署方案权益云架构必修课:云上高可用架构业务的持续稳定可服务,决定着企业对客户的服务质量,是企业发展的基础。而应用部署的高可用架构对于业务的稳定与...
来自: 解决方案
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
基于SDK和服务网格微服务架构构建高可扩展、高性能、低成本、轻量无侵入分布式系统.基于Apache RocketMQ 构建,提供异步解耦、削峰填谷等能力.蚂蚁金服自主研发的金融级分布式事务中间件,保障在大规模分布式环境下业务活动的最终一致性.实现任务的分布式处理,并能规范化、自动化、可视化和集中化对金融企业不同业务系统...
来自: 云产品
高并发云上架构解决方案
高并发云上架构解决方案,基于云服务强大的横向扩展能力,充沛的算力资源,轻松实现能够承载海量并发请求的坚固业务系统框架,业务高峰时期做到从容面对,轻松扩容。在业务高速扩张阶段提供便捷稳定可靠的基础资源框架。
阿里巴巴自有知识产权高性能数据库服务,100%兼容原生MySQL,10万+级别并发读写能力,多节点集群化部署架构,计算存储分离框架,给予核心业务强大稳定的数据引擎.高性能数据库,数据安全无忧.SLB负载均衡.ESS弹性伸缩.Redis 云数据库.MQ 消息队列.NAS 文件存储.OSS 对象存储.RDS云数据库.PolarDB云数据库.轻量化业务部署...
来自: 解决方案
企业级互联网架构解决方案
企业级互联网架构解决方案是在阿里巴巴电商业务环境沉淀下来的互联网中间件,其优秀的架构设计理念,以及大型分布式系统数据化运营能力,帮助企业用户快速构建大型分布式应用,支持业务需求快速创新,助力传统企业快速互联网+转型。
用户需有自机房,为本地数据中心赋予阿里云同款云架构能力.公共云架构结合专有云,实现快速部署与数据的处理与计算服务.从研发-测试-运维提供一套完整的全流程平台支撑,初步实现了 DevOps.DevOps 闭环整体架构.建立共享业务服务中心.如“会员”、“商品”,自己掌握信息系统的主动权,可以快速迭代试错,满足业务变化的...
来自: 解决方案
边缘计算云原生架构解决方案
边缘计算云原生架构解决方案,旨在通过云原生架构构建边缘计算(物联网、CDN、混合云等)云边一体化协同基础设施。通过云端托管边缘资源/应用,无缝对接丰富云产品能力,提供边缘计算业务的自动化运维、高可靠性保障,降低边缘应用的运维工作量,提升边缘计算业务创新效率。
对K8s原生运维API支持.EdgeUnit表示节点组或者节点池,具备统一的资源视角(同一物理位置、相同OS、CPU架构等)、单元内数据流量闭环、支持单元化部署、容灾、提升运维效率.边缘单元化管理.顾名思义就是在物联网、CDN、混合云等边缘计算场景通过“云端托管、边缘自治”的云原生架构,解决边缘业务创新效率低,运维复杂度高...
来自: 解决方案
企业级高可用架构解决方案
企业级高可用架构解决方案通过全链路压测、容量规划、多维流控防护、架构感知、故障演练、预案体系和异地多活等技术方案为企业提供营销活动全面保障、整体成本控制、应急应对能力和全面的容灾逃逸能力。
集合业务形态归纳技术栈和架构.方案产品确认.根据需求确定需要引入的方案和产品组合.实际落地实施复用解决方案能力同时闭环自身问题.站点高仿真模拟考试,验证全国用户真实业务操作对服务端性能、容量和系统稳定性的影响,让站点提前经历真实的高峰业务场景,确保重大活动平稳支撑.核心隔离技术专利,极少的代码改动.PTS...
来自: 解决方案
虚拟桌面架构的高性能体验云上部署
虚拟桌面<em>架构</em>的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于: 1.有许可证合规要求,利用自带license快速上云的客户。 2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势,构建云上更加高效、高性 能体验的服务,为客户解决: 1.客户VDI部署的需求,能够更及时的得到满足。 2.解决硬件资源限制,根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等,提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC(专有网络) SLB(负载均衡) CEN(云企业网) 专有宿主机 OpenAPI
虚拟桌面架构的高性能体验云上部署 最佳实践 场景描述 业务架构图 针对自虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于:1.有许可证合规要求,利用自带 license快速上云的客户。2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。产品列表 解决问题 VPC(专有网络)利用云上灵活性和规模...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,专有宿主机
极致弹性的云原生架构解决方案
极致弹性的云原生架构解决方案使用容器服务ACK实现业务应用层面的弹性,数据库PolarDB随需弹性扩缩容, 以云原生的方式达到低成本的快速扩展。轻松搞定大促弹性,做到自动部署、自动扩容、自动缩容、高可靠性保障、低运维工作量、低成本。
极致弹性的云原生架构解决方案.根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前专家免费服务!售前专家免费服务.通过容器服务ACK实现业务应用层面的弹性,数据库PolarDB随需弹性扩缩容。同时也可以搭配使用各类监控工具、压测工具(PTS)实现全链路压测应对大促预演。轻松搞定如大促等瞬时高峰的弹性...
来自: 解决方案
< 1 2 >
共有2页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用