同步

#同步#

已有2人关注此标签

内容分类

hbase小能手

各位,spark有什么方式可以关联mysql表吗?当mysql里面有变化时,能够实时同步。

各位,spark有什么方式可以关联mysql表吗?当mysql里面有变化时,能够实时同步。

李博bluemind

有哪些从另一个系统同步部分数据的方法或技术?

本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

游客vc7hsdcftgjda

datax 数据库同步问题

1、如果我们今天同步100条数据 ,同步完那条成功哪条失败,datax 会存到表里或什么地方吗?2、一般怎么,处理同步后数据不完整的问题呢?

李博bluemind

小弟想请教下,PostgreSQL同步数据到Redis,有什么好的方案?

小弟想请教下,PostgreSQL同步数据到Redis,有什么好的方案? 本问题来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

1407645669757382

阿里云有精准时间同步服务器吗?

阿里云有精准时间同步服务器吗?精准到毫秒级

李博bluemind

是否需要将 MySQL 换成 MongoDB?

使用场景是这样的: 总数据量大,但每个用户单独的数据量不大。移动 App 需要有离线的本地数据库,并且与服务器端的数据库同步。同步的中间数据初步打算用 JSON 来做。对数据一致性有要求。现在用的是 MySQL,考虑 MongoDB 的主要原因是: 查询速度快。较好的 JSON 支持。另外,我对 MongoDB 了解较少,想请教一下,什么场景更适合使用 MongoDB,什么场景更适合使用传统的关系数据库? 本问题及下方已被采纳的回答均来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

李博bluemind

MongoDB 集群的问题

刚开始接触 MongoDB 我在本地两个 虚拟机中分别安装了 MongoDB 现在集群成功了, 主可增删改查, 备能收到. 但是问题是 备里的数据 count 什么的都对,但是查询查询不到, 请问怎么能解决呢? 还有一个问题, 在 nodejs 里指向一个 MongoDB 服务器, 那么这个服务器挂了, 集群会切换到另外一个服务器, 那么程序上怎么知道我应该使用哪个服务器? 然后刚刚还发现了另外一个问题, 我在主上添加了一个数据库 mytest 也创建了 collection 添加了数据 但是没有同步到备上, 是需要设定指定的库吗? 本问题及下方已被采纳的回答均来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

李博bluemind

redis主从配置不生效

1.线上有两台服务器,假设为服务器1(作为master)、服务器2(作为slave)。根据主从配置教程,在服务器2里面修改redis.conf文件,增加 : slaveof masterip port,保存并退出。然后pkill -9 redis ,再启动redis辅助。两台服务器上测试,发现master设置的键值,slave并没有同步过来。查看redis日志,发现提示以下错误。 clipboard.png 请问下各位,redis主从配置我是不是哪里弄错了! 非常急!!!! 感谢各位了

李博bluemind

爬虫使用了redis去重之后如何管理redis里面数据

一只爬虫如果每天勤劳工作,一年以后,已经爬取了上亿的数据,此时redis也同步存放了上亿的url,内存说不定去到了10G以上,请问各位大神,一般使用了redis去重机制之后,是不是数据就一直存放在redis里面?还是说,可以有啥办法适当删除一部分数据达到优化效果,不然这样下去内存早晚得奔溃

李博bluemind

如何把多个redis的数据实时同步到一个redis里

有redis A,B,C 3个单点节点,需要实时将ABC3个节点的数据同步到redis 节点D上。 附:ABC3个节点的数据是在代码层分片写的,所以不存在key冲突问题。

游客6ek67uyopgjaw

钉钉和阿里邮箱能与AD做账号同步吗

钉钉和阿里邮箱能与AD做账号同步吗

李博bluemind

要redis实时同步那还用啥redis 直接用数据库里的缓存不行么?

要redis实时同步那还用啥redis 直接用数据库里的缓存不行么?

老狮子

Dataworks在配置MySql整库增量迁移时,怎么根据gmt_modified进行增量控制?

请问gmt_modified存在哪里?源表中or目标表中?源文档:在迁移模式、并发控制区中,选择同步方式为每日增量,并配置增量字段为gmt_modified,数据集成默认会根据您选择的增量字段生成具体每个任务的增量抽取where条件,并配合DataWorks调度参数比如${bdp.system.bizdate}形成针对每天的数据抽取条件。

dataworks彭敏

在DataWorks中,读取mysql多表的时候,如何快速配置同步任务

在配置数据集成任务的时候,遇到了源端是mysql数据源,并且是分表的情况。由于表结构完全一致,而且表名的后缀满足1-1000自增的规则,配置同步任务时,需要去手动填写1-1000张表的详细表名吗?

hellomy

多平台同步用户信息

我一共有子平台系统一共6个 为 1-6号我在子平台1-4 都有用户A信息, 用户A 在 子平台1 修改了用户信息, 子平台1并且通知了用户中心。 这个时候用户中心需要通知 子平台 2,3,4 去用户中心更新用户信息到自己的子平台 5,6子平台不需要通知更新。 有人建议用消息订阅,推荐KAFKA。 我想问有没有什么更好的解决方式或技术

发起发起

如何避免大并发下MYSQL主从写入单点负荷过重?

大并发写入的情况下,mysql一主多从架构不仅增加主从同步延迟,主要是前端业务也影响较大,在做了分表,redis缓存,es存储供查询外,是否有更合适的方案?目前来说,网站最大写入并发在3000-5000左右

我叫石头

请教一下,我用pgpool-Ⅱ做PG的一主两从同步+高可用,替代oracle rac这个方案可行嘛

问题答疑来自云栖社区-技术进阶[钉钉群],喜爱PostgresSQL的同学扫码进群

zyly

部署web项目无法访问数据库

两台服务器A,B。A部署web项目和从数据库,B部署主数据库,AB主从同步,A中web项目配置的B的公网ip+端口,访问项目时,报错,无法创建B的数据库连接

赵慧

flinkstream的checkpoint是要同步到hdfs中的,如果没有hdfs是不是会导致无法checkpoint?

转自钉钉群21789141:flinkstream的checkpoint是要同步到hdfs中的,如果没有hdfs是不是会导致无法checkpoint?

hupun_max

分库的数据源表怎么一次性同步到maxCompute数据表中

目前我的方法是建N个数据同步任务,把分库数据源名称作为ODPS目标表的分区字段值,但是分库的比较多,要建N个同步任务,很麻烦,有没有更好的办法?