分布式数据采集系统

_相关内容

什么是分布式事务

分布式事务是保障金融级分布式系统数据一致性的核心技术。本文系统阐述了其核心概念、功能特性、产品优势及应用场景,为构建高可靠、高一致的分布式业务系统奠定基础。

行业趋势与背景

分布式数据库是发展方向 近年来,随着互联网、大数据的飞速发展,特别是“双十一”指数型的成交总额发展曲线,让世界看到了中国电子商务业务的火箭式发展势头。而同时,对于背后的业务支撑系统来说,同样经历了火箭式的系统压力增长。以...

PolarDB-X历史

DRDS的商业化成功,标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变,以及从分布式数据库中间件到分布式数据系统实质性跨越。PolarDB-X 1.0阶段 关键字:架构与品牌升级;国计民生项目 2018~2019年,DRDS凭借...

对接Jaeger

但在数据采集过程中,由于采集日志业务逻辑和用户代码深度融合,并且不同系统的API并不兼容,导致如果切换追踪系统,会有较大改动。OpenTracing 为了解决不同的分布式追踪系统API不兼容的问题,诞生了OpenTracing规范。OpenTracing是一个轻...

分布式任务调度

SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob、K8s Job、Spring Schedule,支持Cron定时、一次性任务、任务编排、分布式数据处理,具备高可用、可视化、可运维、低延时等能力。

透明分布式

但是,传统单机数据库的用户使用接分布式数据库时,普遍会遇到一些共性的问题,比如:应用的数据在分布式数据库应该如何分布?哪些表需要进行水平切分?分区方案及分区列如何选择?分区数目如何确定?哪些表会落在哪些数据节点?资源不均衡...

安装日志采集客户端

在 ECS 服务器上配置用户 ID 标识文件,授权分布式链路跟踪系统采集日志。在 Linux 系统中,创建账号 ID 同名文件夹到目录/etc/ilogtail/users 以配置用户标识,例如:上海非金区-华东 2(上海):sudo touch/etc/ilogtail/users/...

什么是PolarDB PostgreSQL分布式

PolarDB PostgreSQL分布式版 集群是一款基于集中式 PolarDB PostgreSQL版 集群打造的分布式数据库,采用CN/DN的双层架构,实现计算与存储分离的分布式扩展能力。同时支持集中式 PolarDB PostgreSQL版 集群的现有能力,充分满足企业级业务在...

基础术语

OceanBase OceanBase 是阿里巴巴与蚂蚁科技独立自主研发的一款分布式关系数据库产品,融合传统关系数据库和分布式系统的优势,具备高可用、高性能、高可扩展性,在功能上兼容 MySQL 等特点,在通用硬件上提供金融级高可用的数据库服务。...

应用场景

分布式事务的数据一致性 支付的流程中,用户入口在支付中心完成,账单、权益、通知系统在其他系统完成,多个系统之间的数据需要保持最终一致。在这样的情况下,虽然实现了系统间的解耦,上游系统不需要关心下游系统的业务处理结果;但是...

什么是全局事务服务GTS

可以与RDS、MySQL、PostgreSQL等数据源,Spring Cloud、Dubbo、HSF及其他RPC框架,MQ消息队列等中间件产品配合使用,轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...

【上线】PolarDB PostgreSQL分布式版集群正式上线

上线时间 2025年2月17日 上线内容 PolarDB PostgreSQL分布式版 集群是一款基于集中式 PolarDB PostgreSQL版 集群打造的分布式数据库,采用CN/DN的双层架构,实现计算与存储分离的分布式扩展能力。同时支持集中式 PolarDB PostgreSQL版 集群...

产品优势

微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构,具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势,并提供丰富的功能来帮助用户简化分布式系统的管理,让业务开发人员可以专注于业务逻辑实现,提升研发...

适用场景

若当前数据库中任意一个维度出现瓶颈,或出于对业务不断高速发展提前规划数据库选型的考虑,当下选用 PolarDB-X 1.0 构建分布式数据库,可有效降低后期数据库的扩展及运维压力。在业务发展初期,选择单机数据库还是分布式数据库,需要考量...

购买集群

PolarDB PostgreSQL分布式版 集群是一款基于集中式 PolarDB PostgreSQL版 集群打造的分布式数据库,采用CN/DN的双层架构,实现计算与存储分离的分布式扩展能力。同时支持集中式 PolarDB PostgreSQL版 集群的现有能力,充分满足企业级业务在...

SOFAStack 总体介绍

SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系,吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证,为金融交易技术保证风险安全的同时,...

分布式到云原生,建立金融级交易系统

再比如,在可扩展性方面,有些系统号称做了分布式架构,实际可能只是用了微服务框架,做了应用层的服务化改造,但数据库层既没有用水平扩展技术,也没用分布式数据库,整个系统的可扩展性就卡在数据层的短板上。所以,真正的分布式系统需要...

产品概述

承载大量用户核心在线业务,横跨互联网、金融支付、教育、通信、公共事业等多行业,是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。产品特点 稳定 对于绝大部分应用而言,关系型数据库所承担的职责是...

手动分区

因此,手动分区要求使用者需要对分布式数据库原理有所了解。但是,手动分区可以让用户选择最适合应用场景的维度进行水平切分,因此,手动分区最能发挥出分布式数据库的扩展性与高性能。在实际应用的过程中,关于透明分布式的手动分区工作...

概述

PolarDB-X 的CDC日志引擎,负责生产全局binlog和提供binlog dump服务,CDC子系统对外屏蔽了分布式数据库的内部复杂性,如:屏蔽了分布式事务的细节,所有binlog数据都为单机形态;屏蔽了内部节点的扩缩容动作,无需进行额外适配。总之,...

概述

金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案,而其中的应用 PaaS 平台,融合金融科技多年在大规模分布式系统和容器平台的实践经验,使用户在专注于业务价值的同时,提升研发效率和...

什么是MaxFrame

Data+AI开发:对于整个分布式数据开发和模型开发过程依赖于第三方或自定义镜像的场景,MaxFrame提供完整的支持,以满足从数据处理到AI模型训练与部署的需要。使用须知 支持地域 华东1(杭州)、华东2(上海)、华北2(北京)、华北6...

应用场景

同时,OceanBase 数据库的分区表方案也可以使得用户完全无需关注数据的分布细节,轻松支持跨分区的分布式事务、多分区的关联,真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的,系统中保存了很...

什么是LoongCollector

高性能与高可靠 LoongCollector的底层设计支持高性能与高可靠,为大规模分布式系统提供稳固、高效的可观测性数据统一采集。高性能:核心流程无锁设计、事件驱动机制、核心场景单线程百M/s吞吐量。高可靠:基于时间片公平调度、队列高低水位...

基础术语

术语 说明 应用 泛指用于组成业务系统的应用,可以为单体应用也可以为基于分布式框架构成的微服务应用。应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件,通过统一的 ...

概述

随着云原生技术在业界持续升温,越来越多的金融客户希望将能将云搭建在拥有云原生能力的平台之上,利用各类云原生的红利迅速实现技术转型,...可以配合 SOFAStack 各中间件产品、OceanBase 分布式数据库,形成单元化异地多活架构解决方案。

SchedulerX和开源产品对比

项目 Quartz Elastic-Job SchedulerX 定时调度 Cron Cron Cron、Fixed_Delay、Fixed_Rate、One_Time、OpenAPI 任务编排 不支持 不支持 支持,可以通过图形化配置,并且任务间可传递数据 分布式跑批 不支持 静态分片 广播、静态分片、...

江西农信

抛弃传统集中式架构,江西农信采用消息 Mesh 技术实现业务系统平滑迁移...本次银企对账系统的成功下移上云,为江西农信修筑基于云原生的基础架构进行了技术上的成功探索,也为未来整体核心系统分布式架构升级和演进奠定和积累一定的技术基础。

产品功能

分布式计算 提供简单、易用的分布式编程模型,支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息,请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息,请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...

应用场景

混合分布式事务 有些系统在使用数据库保证系统数据一致的同时,也会使用消息队列作为和其他系统间的消息传递,完成不同系统间的数据一致。例如会员注册服务和邮件发送服务,当用户注册会员成功,需要给用户发送一封邮件,告诉用户注册...

产品优势

遵循 OpenTracing 埋点 提供平台无关、厂商无关的 API,使得开发人员能够方便地添加(或更换)追踪系统的实现,跟踪分布式系统内各组件的调用情况等。多维度应用度量 提供多种度量维度实时监测应用程序的性能,能帮助更好地了解当前应用...

产品功能

分布式计算 提供简单、易用的分布式编程模型,可以进行大数据跑批。单机:随机挑选一台机器执行。详情请参见 单机。广播:所有机器同时执行且等待全部结束。详情请参见 广播。Map模型:类似于Hadoop MapReduce里的Map。只要实现一个Map方法...

数据库节点

DRDS DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统,支持海量数据存储和访问,同时维护关系型数据库(例如,MySQL)的原有特性。详情请参见 产品概述。PolarDB MySQL PolarDB MySQL版 是阿里巴巴自研的新一代云...

产品架构

宽表引擎 LindormTable 是面向海量半结构化、结构化数据设计的分布式NoSQL系统,适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容HBase、Cassandra等开源标准接口。其基于数据自动分区+分区多副本+LSM的架构思想,具备全局...

Join优化

Shuffle Join 当进行Hash Join时,可以通过Join列计算S表和R表相应数据的哈希值,把相同哈希值的数据被分发到分布式系统中的同一个节点,利用分布式系统加速Join查询。它的网络开销是 T(S)+T(R),但它只能支持Hash Join,因为它根据Join的...

StarRocks

StarRocks特性 StarRocks的架构设计融合了MPP数据库,以及分布式系统的设计思想,其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够充分的利用多节点的计算能力,整个查询可以并行执行,从而实现...

四川农信

分布式应用系统运维,为了实现分布式数据库大规模集群环境的运维管理,必须具备一套运维工具,实现自动化部署、统一指标和日志监控、运维管理工作台、数据库版本滚动升级、灰度发布等管理和维护功能,使运维自动化、工具化,降低运维难度,...

产品架构

基于对象存储本身的高可靠性,云数据库 SelectDB 版 无需在分布式数仓系统中维护数据副本。此外,基于对象存储OSS的低成本特性,SelectDB 的单位存储成本相比传统数仓可降低90%以上。云数据库 SelectDB 版 的存储资源无需预设大小,其采用...

可用性与可靠性

主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库,对于所有的分布式系统来说,在通过分布式来增强性能的同时,也带来了节点故障率增高的问题,通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...

南京银行

新平台建立在金融分布式架构 SOFAStack 和分布式数据库 OceanBase 之上,从系统建设、研发模式、运维管控等方面全面实现分布式架构转型升级。至今,“鑫云+”平台已服务多家银行的上百万用户,平均每个客户放款时间只需 1 秒,日处理订单量...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用