自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive<em>数据</em>仓库跨版本迁移到阿里云Databricks<em>数据</em>洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统,购买阿里云 Databricks数据洞察集群之后,涉及到数仓 和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维,节省人力成 本。2.Databricks数据洞察...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
数据迁移上云
<em>数据</em>迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
示例应用场景 线下 IDC数据 迁移至阿里云 OSS 线下 NAS数据迁移至阿里云 NAS 线上杭州区域 NAS数据通过 CEN迁 移至深圳区域 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 数据迁移上云最佳实践 文档版本:20201013 文档版本:20150122(发布日期...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
Spark on ECI大数据分析
Spark on ECI大<em>数据</em>分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS:阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务,允许用户像在 Hadoop分布式文件系统中管理和访问 ,无需对数据分析应用做...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务<em>数据</em>迁移上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
利用低成本链路完成业务数据上云 最佳实践 部署架构图 场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
按照界面指引完成开通操作02创建存储空间1登录 OSS 管理控制台2在左侧导航栏,单击 Bucket 列表,然后单击创建 Bucket3在创建 Bucket 面板,配置必要参数03上传文件1单击进入 Bucket2在文件列表页面,单击上传文件3在上传文件面板,完成基础配置项4单击上传文件04下载/分享文件1在左侧导航栏,选择文件管理>文件列表2下载...
来自: 云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库,致力于为客户提供极致性能、简单易用的数据分析服务。...
来自: 云产品
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台,是一种简单易用的公共云灾备服务,可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略,并完全托管备份活动,轻松满足业务与合规需求。
3分钟了解您的业务为什么需要 Cloud Backup.快速备份 ECS 自建数据库.视频跳转链接.阿里云 ECS 客户需要保护 ECS 上的关键数据,在数据出现事故时可以及时恢复数据和业务.阿里云有上百万的 ECS 客户,很多客户需要在除了快照之外,对文件或者数据库进行细粒度的备份和恢复。自建脚本的备份方式无法保证可用性,使用第三方的...
来自: 云产品
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK(容器服务Kubernetes版,简称ACK)支持企业级K8s容器化应用的全生命周期管理,提供高性能可伸缩的容器应用管理能力,助力企业高效运行云端K8s容器化应用。
—— 完美日记技术负责人常见问题方案规划资源计费集群开通Q:ACK 中使用容器运行应用的大致流程是什么?A:从开发代码到运行容器化应用,大致需要以下四个阶段:编写代码、使用 Dockerfile 构建镜像、上传镜像至镜像仓库、运行容器化应用。查看详情Q:ECS 服务器怎么选型?A:集群选择节点时,节点规格优先于节点数量。在...
来自: 云产品
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
数据实时写入、实时更新,写入即可见,与Flink原生集成,支持高吞吐、低延时、有模型的实时数仓开发,满足业务洞察实时性需求.专注实时场景.支持海量数据亚秒级交互式分析,无需预计算,支持多维分析、即席分析、探索式分析、MaxCompute加速分析,满足所见即所得分析体验.亚秒级交互式分析.支持多维分析、高性能点查、数据...
来自: 云产品
云虚拟主机
阿里云弹性计算为客户提供快速、稳定且安全的云虚拟主机服务,具备99.999%数据可靠性、BGP8线接入、千兆共享带宽,免费快速备案等产品优势;中国虚拟主机服务开创者!
具备DDoS基础防护能力,若发现危险文件,将会为您发送安全通知(部分机型支持).99.999%数据可靠性,网站自动宕机迁移,数据自动、手动备份可选.网站和数据更稳定可靠.低至0.56元/天,产品性能持续提升,不断降低您的建站成本.建网站成本更低.8线BGP骨干网络,可一键切换至其它机房,配备独立IP,网站更易被收录.网站速度更...
来自: 云产品
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
什么选择应用实时监控服务 ARMS?超过 5000 家企业共同的选择.查看更多能力升级.仅需59.9元,立即领取性能测试压测资源包.容器、云服务、基础设施等可观测场景.端到端多场景覆盖.构建统一运维监控大盘 提供多种模型快速进行瓶颈根因与根因分析.统一展现&多维分析.完整的全样本全链路调用链追踪 为故障定位提供详尽依据.全...
来自: 云产品
智能媒体管理IMM
阿里云智能媒体管理IMM是一款场景化封装数据智能分析检索管理工具。为云上的视频、文档、图片等非结构化数据提供一站式数据处理、分析、检索等管理能力,让数据更有价值。
智能媒体管理IMM支持通过OSS 文件的URL直接进行数据处理分析,用户无需额外开发即能让OSS文件支持文档预览.智能媒体管理IMM结合OSS事件,使用FC服务,自动生成打标元数据索引(保证多租户隔离),支撑推荐。基于存储事件,采用Serverless方式完成图片元数据提取.更省钱:存量数据处理的成本高,提供批量离线低成本处理模式.更...
来自: 云产品
云存储网关CSG
阿里云云存储网关CSG是一款数据存储管理工具,以对象存储为后端存储。为企业应用提供文件挂载和数据共享服务。可灵活部署,无缝对接企业应用,并支持数据海量拓展和冷热分层。
基于对象存储 OSS,提供海量扩展的文件存储(NFS/CIFS)和块存储(iSCSI)服务.支持企业标准存储协议,无缝对接企业应用,无需应用场景改造,开箱即用.支持冷热数据分层,享受本地高性能读写体验和云端海量存储空间,兼顾不同业务对性能和容量的需求.既支持客户本地数据中心多平台(vSphere/Hyper-V/KVM)部署,也支持直接...
来自: 云产品
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库,它可提供低成本、高性能的存储方案,同时也可提供稳定与极致的数据服务。
单表10PB级数据量、万亿条记录以及千万级别的TPS能力。自动负载均衡及热点迁移,无需人工介入.分布式架构体系,自动负载均衡.存储计算分离架构,计算层与存储层均可独立扩展,更灵活更低成本。支持多级存储介质,配合冷热自动分层最大化优化存储成本.存储计算分离,多种存储介质.支持纯按量模式,享受0元门槛产品使用。...
来自: 云产品
边缘节点服务ENS
阿里云边缘节点服务(Edge Node Service, 简称ENS)基于运营商边缘节点和网络构建,一站式提供“融合、开放、联动、弹性”的分布式算力资源,帮助用户业务下沉至运营商侧边缘,有效降低计算时延和成本。
互联网和专线传输通道,提供安全、优质、稳定的分布式节点组网连接服务,实现算力资源协同调度,提升业务通信安全性,降低数据传输成本.终端云化及多开原生方案.适配云游戏、云应用、云渲染等场景化需求,支持ARM+安卓、X86+Windows的异构计算软硬件方案,兼容存量应用,无需适配调优;多开技术实现单实例同时运行多路游戏...
来自: 云产品
AI Earth 知地球
数知地球 AI Earth(Analytical Insight of Earth)基于达摩院在深度学习、计算机视觉、地理空间分析等方向上的技术积累,结合阿里云强大算力支撑,提供PB级海量遥感数据资源,以及低门槛、界面化的云GIS工作空间,同时支持开发者便捷调用,助力地球科学研究分析。
PB级公开数据在线检索,目前已上线Landsat 5/7/8/9、Sentinel-1/2/5P、MODIS、ALOS DSM等80多类公开数据集,更多数据资源持续接入中.公开数据检索.支持多种Landsat、Sentinel系列数据时空检索,数据可在线分析或快速下载.汇集多种MODIS系列数据,以及地形、夜光、气象、生态等各类专题数据.海量遥感数据检索.基于AI技术和...
来自: 云产品
阿里云云效
云效,一站式Devops平台,支持公共云、专有云和混合云多种部署形态,通过云原生新技术和研发新范式,助力创新创业和数字化转型企业快速实现组织敏捷和研发敏捷,打造“双敏”企业,实现10倍研发效能提升。
云效DevOps基础版6款产品不限成员、免费使用,免搭建、免运维.免搭建、免维护,注册即用.一套账号,打通所有系统‍,数据不再割裂。需求、代码、CI/CD无缝衔接.一站式DevOps,账号、数据打通.无缝对接阿里云ECS、ACK等,内置分批、灰度、蓝绿多种部署策略,云上自动部署So Easy.无缝对接阿里云ECS、ACK等.云效和钉钉集成...
来自: 云产品
SLS数据入湖Kafka最佳实践
SLS<em>数据</em>入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的 聚合、分析处理和导出等,本方案给出了在多 云/混合云场景下,构建通过标准的Kafka协议 和托管服务,SLS可以连接Kafka数据入湖导 入,然后进行统一的海量数据的集中存储、智 能转储、...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS<em>数据</em>
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口,支 持客户将日志采集到日志服务后,仍可以继续沿 用Elasticsearch的查询方案,即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口,实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
云上 AI
依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现生成式和判别式的创新应用,拥抱 AI 时代
GPU云服务器云原生 AI 套件判别式 AI定制 AI 模型判别式AI(Discriminative AI)专注于区分或判别不同类别的数据,目的是从给定的输入数据中预测或分类输出结果。判别式AI不关心数据的生成过程,而是学习如何将输入数据映射到一个或多个输出标签上。判别式 AI 的模型训练选型策略可以参照生成式 AI,需注意百炼暂不支持判别...
来自: 解决方案
< 1 2 3 4 ... 18 >
共有18页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用