java 大数据计算_java 大数据计算相关产品

大数据workshop

系统架构设计下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和业务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现这几大模块共同构成实时大数据数据仓库。注：对于 DIM（维度层）的维度数据可以主要使用 MySQL、HBase、Hologres三种存储引擎。对于维表数据比较少的...

来自：最佳实践相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres

基于Flink的资讯场景实时数仓

场景描述本实践针对资讯聚合类业务场景，Step by Step介绍如何搭建实时数仓。解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。产品列表实时计算专有网络VPC 云数据库RDSMySQL版分析型数据库MySQL版消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化

名词解释实时计算：实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink构建的企业级大数据计算平台。在 PB级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行业解决方案；支持 Datastream API作业开发，提供了批流统一的 Flink SQL，简化 BI...

来自：最佳实践 | 相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT

基于MaxCompute的大数据BI分析

场景描述本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时分析，之后通过QuickBI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版

文档版本：20211213 1 基于 MaxCompute的大数据 BI分析最佳实践概述方案优势以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...

来自：最佳实践 | 相关产品：日志服务（SLS）,大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT

分布式任务调度 SchedulerX

SchedulerX 是阿里巴巴自研的基于 Akka 架构的分布式任务调度平台（兼容开源 XXL-JOB/ElasticJob/K8s Job/Spring Schedule），支持 Cron 定时、一次性任务、任务编排、分布式数据处理，具有高可用、可视化、可运维、低延时等能力。

支持秒级别调度、轻量级分布式计算，可以助力您完成准实时的大数据跑批.通过分布式架构、数据三备份、消息 At-least-once delivery、failover、定期轮检等多种手段，保证任务调度和运行的高可靠.多层次安全防护，支持 HTTPS 和 VPC 访问。多用户隔离机制，支持命名空间和应用级别的隔离.提供托管式的任务管理、易接入、易...

| 产品优势 | 产品核心功能 | 典型应用场景

来自：云产品

在线教育流量洪峰

1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。

TPC-H提供测试用数据模型和测试数据，MySQL提供客户端连接 PolarDB进行操作。cd/root/2.18.0_rc2/dbgen/mysql-h-u test001-p PolarDB URL在页面获取：u 步骤2 登录数据库并执行语句 use tpch;source dss.ddl 文档版本：20210120 25 在线教育流量洪峰最佳实践主数据库大流量方案在数据库页面可以看到表已经创建。步骤3 ...

来自：最佳实践 | 相关产品：云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI

阿里云时序时空数据库TSDB

时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写，压缩存储，实时计算能力为一体的数据库服务，可广泛应用于物联网和互联网领域，实现对设备及业务服务的实时监控，实时预测告警。

支持各类时序数据计算.时序数据查询可视化.控制台查询时间线结果可视化展现.查询结果可视化的图表展现.实例监控运维.数据点写入实时监控，实时反馈写入情况.实例写入能力监控.随时获取存储使用情况，提早扩容或释放存储空间.存储空间监控.实例的资源和能力监控，使用情况一目了然.实例安全管理.实例只提供VPC网络访问，外部...

来自：云产品

微服务应用问题定位及故障演练

场景描述用户微服务架构应用基于阿里云 ACK 部署，通过 ARMS 监控发现微服务应用的容错能力是否健壮，容器编排配置是否合理，以及节点故障引发的问题等，方案通过 AHAS 故障注入模拟生产环境产生的故障，通过 ARMS 及时发现问题、定位问题，并结合 ARMS 的告警功能快速发现并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障，验证业务的稳定性。  发现调用数据库延迟故障，验证 Pod 的水平扩容能力。解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS

更多信息，请参考：https://www.aliyun.com/product/developerservices/cadt 日志服务(LOG)：LogService，简称 LOG/原 SLS是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成，提供日志类数据采集、消费、投递及查询分析功能，全面提升海量日志处理/分析能力，服务智能研发/运维/运营/安全等场景。...

来自：最佳实践 | 相关产品：容器服务 ACK,日志服务（SLS）,性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭

金融专属大数据workshop

实践目标学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。前置知识要求熟练掌握SQL语法对大数据体系系统知识有一定的了解

对结果进行可视化展示例如用户通过手机APP购买基金，金融公司可以通过后台的大数据分析平台达到如下的大屏分析效果：文档版本：20210803（发布日期）4阿里云最佳实践大数据WorkShop 最佳实践方案设计文档版本：20210803（发布日期）5阿里云最佳实践大数据WorkShop 最佳实践方案设计 2.2.2.项目架构 2.2.2.1.阿里云技术...

来自：最佳实践 | 相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres

企业Web应用全托管解决方案

企业Web应用全托管解决方案，帮助用户实现分布式应用托管服务，解决多应用部署资源消耗大，弹性扩容要求高等业务面临的问题。大幅降低运维和开发部署难度。提升企业应用和互联网应用的效率。

函数计算支持丰富的事件源，事件触发机制可以通过几行代码和简单的配置对数据进行实时处理，比如对 OSS zip 包进行解压，对 SLS 日志或 OTS 数据进行清洗，对 MNS 消息进行自定义消费等.实时数据处理.实时数据处理.新零售、电商类、远程教育、互娱等行业往往有一些不可预期的突发流量高峰，该方案提供了精准容量+秒级弹性+...

| 方案架构 | 方案优势 | 应用场景 | 使用流程

来自：解决方案

密钥管理服务KMS

阿里云密钥管理服务KMS使用国家密码管理局检测认证的硬件加密机，提供安全合规的密钥托管和云数据加密服务，助您全面升级云数据安全防护能力。产品为蚂蚁金服提供安全合规的密钥管理服务，保障全球金融交易安全。

如果您产生了海量数据，其数据的加密解密行为，会消耗大量的计算资源，对系统性能和吞吐量产生负面影响。通过云产品的服务端加密，您将加密负载交给了阿里云，而仍然保持对数据加密行为的可控和可见能力.将海量数据的加密负载交给阿里云.对象存储 OSS.云数据库RDS MySQL 版.云服务器ECS.文件存储(NAS).推荐搭配使用.云产品...

来自：云产品

注册配置中心

注册配置相比开源版，Nacos 和 Zookeeper 商业版具有更强的性能和 SLA 保障，并提供了丰富完善的监控报警、简单易用的控制台运维操作。

对于 Hadoop、HBase、Kafka和Flink等大数据组件，可使用MSE ZooKeeper 实现 High Availability 方案.容器服务 ACK.推荐搭配使用.分布式应用基础设施.分布式应用基础设施.如何快速上手.查看使用过程可能遇到的问题.查看不停机迁移操作文档.加入客户支持钉钉群.产品差异化功能.<查看全部产品.提供 Nacos 和 ZooKeeper 的商业...

来自：云产品

新零售商超基于Serverless服务化改造

某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。

比如数据是否要做到无状态，无状态的话水平文档版本：20210519 3 新零售商超基于 Serverless服务化改造前置条件扩展会比较容易，而如果是有状态，数据可能就需要做缓存，这就会涉及到数据库相关的问题，例如数据过期、一致性等。如果对这些了解不够透彻，做水平扩展就会比较困难。ￚ水位监控许多开发者在水位监控上...

来自：最佳实践 | 相关产品：云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储

云原生Stack

云原生Stack简称CNStack，是阿里云一款开放的一站式企业级云原生技术中台，能帮助用户打造满足大规模、高性能、合规性和业务连续性等要求的分布式应用系统，提升企业数字化转型的整体效能。

基于运维实时大数据技术，构建企业级一体化的全栈可观测能力，通过日志、指标、链路的全面可观测数据集成，为传统架构或微服务架构的数字化系统提供全方位、多视角、统一的监控、性能分析、问题诊断能力，同时支持异构基础设施，打破监控运维数据孤岛，提高故障发现、响应、定位的效率，以数字化方式保障业务的稳定性和连续...

来自：云产品

基于Elasticsearch的订单检索加速最佳实践

随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”，不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。

步骤11 回到 rds的 dms界面中，对表 trading_order插入数据，再到 Elasticsearch中查看数据。（dms登录方式本可查看文档章节 2.4创建 rds订单表”。在上图 dms中使用 insert into语句插入一条数据到 trading_order表中：insert into trading_order(order_amount,source_type,consignee_ada,order_type,company,consignee_...

来自：最佳实践 | 相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch

云原生

阿里云拥有丰富的云原生产品家族，全面的云原生开源贡献，大规模的云原生应用实践，以及广泛的云原生客户群体，为企业数字创新提供全方位能力支撑。

数据可视化平台Grafana服务全托管免运维，默认集成数据库RDS、消息队列MQ、实时计算Elasticsearch、Prometheus监控、日志服务SLS等数据源，并提供丰富数据看板模板，让数据可视化更加高效、精细.Grafana 服务.为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具.链路追踪（公测...

来自：云产品

自建Hadoop迁移到阿里云EMR

场景描述场景1：自建Hadoop集群数据（HDFS）迁移到阿里云EMR集群的HDFS文件系统；场景2：自建Hadoop集群数据（HDFS）迁移到计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。解决的问题 客户自建Hadoop迁移到阿里云EMR集群的技术方案； 基于IPSecVPN隧道构建安全和低成本数据传输链路产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。

VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业数据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠的连接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN，不仅可以更方便的配置和...

来自：最佳实践 | 相关产品：专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭

MaxCompute湖仓一体方案

场景描述自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打通，通过存储共享，元数据镜像等方式，解决传统模式下的存储冗余，计算资源弹性能力弱的痛点。可大幅度增强系统的资源弹性，解决业务高峰期计算资源不足的问题。方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外管理数据同步任务。 4.资源弹性：利用MaxCompute计算池弹性进行海量数据计算。解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。产品列表专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS）云企业网CEN

提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。更多信息，请参见：https://www.aliyun.com/product/emapreduce 文档版本：20220402 III MaxCompute湖仓一体方案目录目录文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...

来自：最佳实践 | 相关产品：专有网络 VPC,云服务器ECS,云企业网,E-MapReduce,大数据计算服务 MaxCompute,运维编排,云速搭

CDH迁移升级CDP最佳实践

当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。

构造 Impala测试数据由于 Impala不支持 date类型数据，所以讲原始 date数据转化为 varchar类型的数据。Alter table call_center change column cc_rec_start_date cc_rec_start_date varchar(10);Alter table call_center change column cc_rec_end_date cc_rec_end_date varchar(10);Alter table date_dim change column...

来自：最佳实践 | 相关产品：专有网络 VPC,云服务器ECS,云速搭

微服务引擎MSE

微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目，提供商业版服务。

支持秒级别调度、轻量级分布式计算，可以助力您完成准实时的大数据跑批.通过分布式架构、数据三备份、消息 At-least-once delivery、failover、定期轮检等多种手段，保证任务调度和运行的高可靠.多层次安全防护，支持 HTTPS 和 VPC 访问。多用户隔离机制，支持命名空间和应用级别的隔离.提供托管式的任务管理、易接入、易...

来自：云产品

基于ECI+FaaS构建游戏战斗结算服

在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。

弹性计算实例关键指标关键指标六代增强型七代高主频 vcpu核心数 80vcpu 192vcpu 频率 2.5/3.2Ghz 3.3/3.8Ghz 最高网络 25G*2 50G*2 最高 PPS能力 2400 万 PPS 2400万 PPS 高效云盘云盘规格 SSD云盘 ESSD云盘 ESSD云盘最高存储 IO 48 万 IOPS 60万 IOPS 最大并 Session数(万）200 400 MTU（最大传输单元）1500 8600 ...

来自：最佳实践 | 相关产品：容器服务 ACK,函数计算,弹性容器实例 ECI

java 大数据计算_相关内容

新品推荐