海量数据数据库

阿里云 > 云栖社区> 主题地图> H> 海量数据数据库

海量数据数据库 相关的博客

jack对海量数据库的一些总结

jack对海量数据值得深思几点： 1.删除海量数据：delete消耗资源最大。truncate与drop就小的多 2.分区特点：a.可以单独分区操作（数据加载，数据备份，数据恢复以及索引重建等操作。 b.提高查询效率 c.分区更有利于数据维护 d.分区有利于数
技术小甜 7年前 695

数据库分区：海量数据分区改造的玄与机

本文讲的是数据库分区：海量数据分区改造的玄与机国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日如约而至。本届大会以“数据驱动?价值发现”为主题，汇集来自互联网、电子商务、金融、电信、政府、行业协会
祁同伟 7年前 1393

海量数据处理方案

需求： 1、把2个excel的sheet表中的海量数据按照时间，对比起来放在同一个excel的shell中； 2、两个表为无序， 且存在对方表中的数据在自己表中对应的时间点上不存在的情况 方法一、数据库 （1）使用toad导入数据 将EXCEL文件中某些字段导
技术小阿哥 7年前 981

海量数据计算应该如何选择数据库

背景 随着大数据的应用越来越广泛，应用的行业也越来越低，我们每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。在阿里云的云数据库RDS版中，提供了大数据计算服务(MaxCompute，原名ODPS)，它是一种快速、完全托管的TB/PB
sunlovesi 8年前 2246

阿里云发布分布式数据库PolarDB-X，应对海量数据管理

云栖号资讯：【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 一场不期而至的疫情给不少企业的生产经营带来不小的影响，使得很多活动被迫转到了线上，包括很多新闻发布会。日前，阿里云也举办了一场线上的活动——云上的峰会，在会
云栖号资讯小哥 4年前 2908

淘宝海量数据库之一：来自业务的挑战

本文讲的是淘宝海量数据库之一：来自业务的挑战,作为一个电子商务企业，从一开始，数据库及其事务能力在淘宝就扮演着十分关键的角色，淘宝也积累了丰富的数据库的架构和规划等方面的经验，产生了众多优秀的DBA。 　　淘宝是一家迅速发展的公司。全球网站排名公司Alexa提
云栖大讲堂 7年前 1376

海量数据处理技术学习

海量数据处理的常用技术可分为: 　　外排序：因为海量数据无法全部装入内存，所以数据的大部分存入磁盘中，小部分在排序需要时存入内存。 　　MapReduce：分布式处理技术 　　hash技术：以Bloom filter技术为代表   外排序：主要适用于大数据的排
松伯 8年前 654

XCode v8.11 重量级分表分库（无视海量数据）

XCode天生就有分表分库功能，设计于2005年！ 历时9年，这是分表分库功能第一次针对性正式更新。 在XCode里面，分表分库非常简单，在操作数据（查询/更新）前修改Meta.ConnName/Meta.TableName，指向别的连接字符串和表名，就实现
长征6号 8年前 752

海量数据数据库 相关的问答

MySQL海量数据插入导致服务器性能下降，怎么解决？

项目是一个网络客户机安全监控系统的开发，客户机8000台，监控客户机所有行为，如：访问网站地址，打开和关闭的程序名，插拨USB设备的信息，建立和删除文件或文件夹等等信息。这些信息都需要通过服务器端运行的程序监控，把8000台客户端所有操作行为记录下来。实时用c
蛮大人123 8年前 744

OTS表格存储适用于爬虫采集大数据的存储查询吗？又如何购买OTS表格存储？

您好，我目前在用分布式爬虫爬取海量数据，数据约100亿条，目前是sql server做存储，数据量太大了，sql server优化实在很累，不经常优化，查询数据时很慢，我想问一下表格存储适用存储并且查询海量数据吗？ 我爬取的数据就以下6个字段： 网站关键词
小熊熊2009 6年前 459

海量的地理位置(经纬度)数据，用什么数据库来存储最好？

数据条数在亿级别。 更新频繁。MySQL无法动态索引。 查询要比建过索引的MySQL的between and 语句快。 最好原生支持空间范围查找。
蛮大人123 8年前 2442

[@倚贤][¥20]海量IP数据的导入导出问题

目前接到一个任务，需要将数据库中的IP（期望能支撑百万级）导出到Excel中，但是在导出时，会出现时间过长的问题甚至内存溢出。同时在导入这些IP数据到数据库中，因为涉及的业务关系，也会出现上述问题。请问：对于这种大量数据的处理有什么优化建议？
我是个宝宝 6年前 435

关于DataX对job执行状态监控及调度问题

最近在使用datax3.0把数据从oracle同步到mysql，第一次使用时觉的很是方便、高效，只要配置好job的json文件，再调用python $dataxhome/bin/datax.py $jobhome/***.json即可完成数据的同步。 后来有
google_tmac 7年前 1630

Linux安装MongoDB并简单使用

MongoDB是非关系型数据库，主要为了解决： a) 对数据库高并发的需求 b) 对海量数据的高效率存储和访问的需求 c) 对数据库的高可扩展性和高可用性的需求 缺点： a) 数据库事务一致性需求 b)数据库的写实时性和读实时性需求 c)对复杂的
落地花开啦 8年前 1000

mysql集群性能和效率相对于单机mysql来说优势在哪?

如果应用程序要向mysql数据库插入上万条甚至更多的海量数据，对单机的mysql数据库肯定压力很大，但是对于mysql集群，在其中的一个mysql节点插入这么大的数据，和单机mysql服务器没有什么区别，那么这种情况下mysql集群是如何提高性能和效率的呢？
落地花开啦 8年前 947

MaxCompute百问集锦（持续更新20171011）

![fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg](https://yqfile.alicdn.com/ee78085f2e6a147c3fffcc95038b11a73c609bf1.jpeg) 大数据计算服务
隐林 7年前 36996

相关主题

数据 数据库 海量数据库 数据库数据清理 数据分片 数据库 数据库管理数据 大数据数据 数据仓库数据 数据分析 数据 数据分析数据 海量数据 数据库删除数据失败 数据库如何存储数据 数据库数据采集 如何恢复数据库数据 数据库 数据恢复 数据库大数据 数据库 大数据 数据库数据存储 数据库怎么存储数据 大数据数据库 大数据 数据库 数据分析 数据库 数据库数据分析 数据库 RDS 海量数据库 数据库数据库系统数据库管理系统 mysql数据库恢复数据 数据库数据安全性 大数据量 数据库 数据库大数据量 RDS 数据库恢复数据 MySQL数据库 数据丢失 数据仓库 元数据 数据挖掘 数据清洗 数据仓库数据清洗 海量数据存储 处理海量数据 海量数据库解决方案 数据库文件不存储用户数据 用于存放数据库数据的是 红色logo网站 备案域名黑名单 create select 大数据 flash素材下载网站 https 客户端证书 python 怎么确定svn连不上服务器 wex5 部署到服务器 mysql备份数据库psc 修改服务器 hosts文件 mysql数据库的名字