云上大数据仓库解决方案
阿里云云原生大数据仓库,包含离线实时一体化数仓和实时数仓解决方案,为企业提供一站式云上智能开发、调度、服务、质量、安全的全链路服务。
整合阿里云实时计算 Flink 版+实时数仓 Hologres 两大阿里云 ODPS 大数据实时计算+分析引擎利器,实现新一代实时分析数据仓库架构.流一体:Batch Layer 与 Stream Layer 代码统一,实时计算智能调优,确保整体逻辑一致性,高吞吐,低延迟,保证 Exactly-Once.分析服务一体:大数据实时分析融合计算,同时支持实时 OLAP ...
来自: 解决方案
高速公路智慧运营解决方案
阿里云高速公路智慧运营解决方案一套为高速公路管理处打造的智能化运营平台。助力高速公路集团进行数智化转型。
利用先进的视频图像、图形学处理技术和深度学习算法,实现对城市视觉数据的接入、计算分析、索引和挖掘,赋能交通等各个行业场景.城市视觉智能引擎.致力于批量结构化数据的存储和计算,提供快速、完全托管的PB级数据仓库解决方案及分析建模服务,使您可以经济并高效的分析处理海量数据.大数据计算服务.
来自: 解决方案
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
数据效率提升 8 倍,人群圈选整体流程从 30 分钟缩短到 5 秒,资源投入更低,业务更稳定.某潮品社区电商.助力客户实现用户群体行为分析,支撑实时大屏等实时业务监控和实时运营。替换原有 Presto数仓,稳定支撑高峰期每小时200多亿数据写入。全球化部署开箱即用,快速支持海外游戏发行.国内TOP游戏厂商.查看更多商品.基于...
来自: 云产品
阿里云大数据&AI
阿里云大数据和AI产品服务。开放数据处理服务ODPS提供强大的数据分析和管理功能;开源大数据产品支持更加灵活地构建大数据平台;AI和机器学习产品提供AI工程平台和智算服务。
SaaS模式云数仓解决方案,高效处理海量数据.ODPS大规模批量计算引擎.提供离在线一体化全栈数仓解决方案.ODPS实时交互式计算引擎.实时数仓Hologres.一站式大数据开发&治理平台.Flink创始团队出品,秒处理能力25.5亿条.实时计算 Flink 版.帮助用户简单快速地构建云原生数据湖解决方案.集中式存储库.数据湖构建 Data Lake ...
来自: 云产品
阿里云解决方案基因专题
阿里云解决方案包括通用解决方案, 行业解决方案和生态解决方案,沉淀阿里云十年、百万用户最全面的业务场景,结合阿里巴巴集团技术创新能力,提供云原生、数据智能、零售、金融、制造等多个领域的解决方案。
批量计算高级开发工程师.Cromwell开源软件代码贡献者.基因云平台专家.丰富的生物信息数据处理经验.1.遍布全球的数据中心和高速网络,多种数据接入方式和访问使用工具套件,用户无缝共享和使用数据。2.数据存储和传输全程加密,安全可靠。自动生命周期管理,可以满足基因数据长期低成本存储需要。3.阿里云平台提供了丰富的...
来自: 解决方案
中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案,助力自建 Hadoop 用户快速构建云上半托管开源大数据平台,在保持原组件使用习惯延续的同时,充分利用云上服务特点,更加便捷地迭代企业大数据平台架构,聚焦业务价值开发。
随着企业积累数据规模的增长,数据分析使用往往会遇到数据存储的成本挑战、计算和存储耦合带来的某项资源闲置等问题,同时由于数据分析场景的多样化,如离线计算、流式计算、交互式分析、机器学习等,导致多引擎间频繁地引用和移动数据,造成数据不一致和成本高的问题。通过该方案,可以有效解决以上问题.云原生数据湖.云...
来自: 解决方案
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
满足高性能、高稳定性、可弹性的计算需求.Databricks Delta Lake为数据湖分析提供了ACID事务能力,轻松处理包含数十亿文件的PB级表的元数据信息,实现了流一体的数据处理方式.同时满足数据科学家、数据工程师以及业务分析师的计算需求,提供交互式的协同分析工作平台.计算存储分离,减少数据冗余,实现多引擎间的数据共享...
来自: 云产品
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。
活动中涉及“折扣”、“优惠”、“×折”或“省×元”,指相同规格产品的价格在本次活动与无任何活动时的比较.ODPS大规模批量计算引擎.ODPS实时交互式计算引擎.全托管Serverless Flink云服务.实时计算Flink版.AI工程化平台.机器学习平台PAI.开源大数据计算平台.阿里云上的半托管形态CDP企业数据云平台.100%兼容开源的分布式...
来自: 云产品
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
采用可扩展的MPP架构全并行计算,向量化算子发挥CPU极致力,ORC格式列存优化索引,SSD存储优化IO,支持PB级数据亚秒级交互式分析体验.高性能主键点查(Serving).基于行存表的主键索引和查询引擎的短路径优化,支持每秒数十万QPS高性能服务型点查,支持高吞吐更新,相比开源系统性能提升10倍以上.联邦查询,外表加速...
来自: 云产品
工业控制性能优化解决方案
工业控制性能优化是基于对控制器的参数实时评估与监控,通过阿里云大数据处理和计算的能力,结合人工智能算法,机器学习的能力,为企业提供高效的性能评估与整定,更方便、快捷地完成回路控制性能的批量评估和整定优化工作,为企业提供最佳的控制性能优化解决方案。
工业控制性能优化是利用阿里云平台强大的计算能力,结合人工智能算法和对行业背景的理解,对工业生产过程中的大数据进行挖掘和分析,通过对全厂级/装置级的大量控制回路的控制性能进行实时监控和评估,迅速定位生产过程中的问题,并对进一步维护整改决策提出有效的辅助建议,从而使企业生产运行保持优状态.数字技术,PID...
来自: 解决方案
云上数据集成解决方案
云上数据集成解决方案提供可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展的数据传输交互服务,有效帮助您解 决云环境、个人站点环境下异构数据存储系统的数据互通难题,让您数据不再成为孤岛!助您实现大数据分析和实时商务智能。
支持MaxCompute、AnalyticDB for PostgreSQL和Hologres等大数据计算引擎及其他数据源.详细了解>.支持的数据源.查看如何配置数据集成的数据源.详细了解>.如何进行增量数据同步.详细了解>.数据增量同步.数据集成整库迁移介绍.详细了解>.离线(批量)的数据同步主要通过定义数据来源和去向的数据源和数据集,由数据集成提供...
来自: 解决方案
风险识别
风险识别是一套实时分析、精准识别、全场景覆盖的业务风险管理产品。基于海量攻防样本、机器学习算法以及流式计算等技术,帮助企业一站式管理用户注册、营销活动、交易、信贷申请等关键业务中的欺诈风险。
应用边缘计算、攻防智能等前沿思想,从端到云全链路分析与动态攻防,精准识别各类风险.基于阿里云力、网络等基础设施优势,实现高维运算下毫秒级、超高并发能力,并支持全球多地入网.包年包月购买.包年包月购买.包年包月购买.点击购买10万次测试规格,快速了解企业风险水位!查看全部产品.风险识别(Fraud Detection)是...
来自: 云产品
FPGA云服务器
FPGA云服务器是提供现场可编程门阵列(FPGA)的计算实例,基于阿里云弹性计算框架,用户可以在几分钟内轻松创建并自定义的专用硬件加速器。
在后台服务日志压缩、网站静态资源文件压缩、批量计算任务压缩、分布式存储压缩等方面均可使用FPGA进行加速.适用多种类型压缩.云服务器ECS.对象存储OSS.推荐搭配使用.云端压缩的计算加速.云端压缩的计算加速.以大型互联网公司为例,每天处理的数据量级都在PB,每天更新的网页以亿,每24小时更新的日志超过PB,因此需要...
来自: 云产品
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
自主研发,兼容数据库完整生态工具,兼容MySQL的Binlog格式,支持MySQL配置主备同步,打通大数据生态,兼容开源库分表工具并支持基于实例维度的多节点批量白屏操作,比如DDL、扩缩容等.基于存储计算分离架构,资源池化高效管理,实现分钟级弹性变配.采用云原生架构,提供多项企业级能力.支持VPC、IP白名单、非对称账号...
来自: 云产品
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台,为DataX的商业版,支持ETL,支持50+数据源跨网络离线(全量/增量)同步。
批量同步主要应用场景为阿里云大数据计算存储(包括 MaxCompute、AnalyticDB、HDFS等)提供离线(批量)的数据进出通道,支持库分表同步.实时数据同步功能,方便您使用单表同步或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应.全增量一体化同步.数据...
来自: 云产品
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
基于读写分离、存分离、弹性伸缩等云原生架构下核心能力,同时借助Serverless按需使用按需付费的方式,为用户提供更低成本、更高性能、更高稳定性的云上检索与分析计算力.与 Elastic.co 合作,为阿里云用户提供 Elasticsearch 白金版商业功能包,包含:细粒度数据权限、机器学习、场景化图表、安全分析等功能特性.企业级...
来自: 云产品
物联网边缘计算
阿里云物联网边缘计算是一种部署在本地近场环境、以高性能计算机为载体、且与云端协同的一体化计算服务,满足企业(客户)对边缘(近场)计算资源的远程管理、数据处理、分析决策、智能化诉求。
视频型硬件,提供多种不同力的硬件,本地运行视觉算法,实时响应业务需求.通用型硬件,可支持业务应用托管需求,硬件配置丰富.提供多种规格的硬件选型,高可靠的承载业务应用.丰富的终端设备接入能力,可同时支持视频类设备和传感器类设备接入,接入协议超过300种.同时支持进程和容器应用的托管,提供应用管理能力,可...
来自: 云产品
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
E-HPC低成本实现量化策略回测 最佳实践 业务架构图 场景描述 在量化交易场景下,量化策略的构建流程一般包 括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的力,进行大量数 据的分析和处理,如何快速、高效和低成本的进 行批量任务的调度,并快速获取结果是量化领域 遇到的普遍挑战,这也是...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
容器存储解决方案
容器存储解决方案,适配云原生极致弹性、持久化数据共享、高可用、高性能的要求。
文件存储 NAS 对接 AGS、ACK 搭建极速、低成本、高精度的容器基因计算环境,满足基因测序的计算和数据共享需求•文件存储 NAS 为基因行业用户提供低时延、高 IOPS 的文件存储,用于基因数据分析中的共享存储,保存下机数据和组装后的数据,以及过程中的中间数据•文件存储 NAS 计算结果数据会同步到对象存储 OSS,文件...
来自: 解决方案
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用数组作业解决批处理任务 从批处理和数组作业介绍看,数组作业适用批处理计算的场景,但做到简易使用,还存在以 下问题:1.批处理任务与作业的对应关系?当任务数量巨大时,是一个任务就是一个作业,还是一个作业包含多个任 务?2.如何从$PBS_ARRAY_ID 到不同任务的关联?并能够方便对应不同任务的不同参数?3.如何跟踪...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用