性能

#性能#

已有19人关注此标签

内容分类

株莉

文件时延太长想砸电脑?神秘武器来拯救你!

随着传统IT行业云化转型,企业存储面临着扩容需求大、管理运维难度高、TCO上升快、存储类型数据无法打通等诸多挑战。为了促进性能和容量的提升,存储也向着互联网和分布式架构转型。 网络路径过长、时延太高也成了分布式架构下文件存储面临的全新问题。时延问题通常会带来系统性的负面影响,如系统响应过慢、用户体验降低、产品口碑下滑和业务营收下降等。 **某金融机构调研发现,如果他们的系统比竞争对手慢5毫秒,那5毫秒时延将导致$4M的损失!Google内部研究发现,搜索结果半秒的时延就会扼杀用户满意度,并造成20%的流量损失。** 如何解决小文件时延长、性能低的问题?如何全面优化海量小文件操作性能? 8月7日,阿里云文件存储NAS极速型发布会,与大家分享必备的“企业应用加速上云攻略”:-阿里云文件存储当前的产品布局,功能特点和应用场景。-文件存储极速型NAS产品演进背景、典型应用场景和产品优势 了解详情,点击【产品活动页】参与直播,点击【直播间传送门】更多信息,点击【产品详情】 参与话题,赢取限量奖品: 1.阿里云文件存储以高可靠、高性能、弹性可共享等特性为云原生应用提供了最合适的持久化存储形态,那么这次推出的极速型NAS是具体针对什么场景的?2.极速型NAS是如何练就小文件能力的?3.您对极速型NAS是否有快照需求?

游客886

请教一个问题,PG 表,有两个索引 字段A 和 字段B。

请教一个问题,PG 表,有两个索引 字段A 和 字段B。query 是 where A = $1 and B = $1PG 在选择 index 时,会耗时多少? 表总共 700万数据,A = $1 时数据 2万多select count(*) from table where A = 1 and B = 2有时执行 10秒,有时 几十毫秒 问题: 多个索引,PG 如何选择,选择时是否会有多少性能损耗 查询执行后,应该会对后续查询有影响 第一次查询后,再次查询时,速度都会很快,无法重新慢的查询了(如果这里数据库有 cache ,如何清除这个 cache ) 查询时能指定使用某个 index 吗本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

云攻略小攻

阿里云POLARDB 2.0重磅来袭!为何用户如此的期待?

POLARDB 1.0主要的改进包括采用了计算存储分离的架构,完全兼容MYSQL,性能是原生MySQL的6倍。一个用户集群可以在分钟级弹性扩展到16个计算节点,对业务完全透明的计算和存储分离代理,从库延迟仅毫秒级。存储为分布式块存储,可以弹性扩展至100TB的规模。存储层面采用多副本技术,使数据库的RPO做到了0,完全没有丢失数据的风险。 为什么要研发POLARDB 2.0呢? 1、用户的去O需求旺盛,但有非常严重的历史包袱,缺乏有效的迁移方法、工具,因此去O屡试屡败;2、企业要求数据库既要SQL通用性,又要NoSQL扩展性,还要多模数据处理便捷性。既要高并发、又要实时复杂分析。然而传统数据库无法满足既要又要还要的需求;3、企业的历史数据象五指山一样压得喘不过气;4、随着物联网、智能终端、移动互联网的发展,越来越多的移动数据接入,应用对GIS数据的处理需求会越来越旺盛,使用开源版本GIS性能、功能无法满足;5、高级DBA太难找、且价格昂贵; 针对上述用户需求,POLARDB2.0应运而生,不但完全继承了1.0的架构体系,同时兼容了另外两个流行数据库Oracle与PostgreSQL。 POLARDBv2.0forOracle,高度兼容Oracle,同时支持了SQL防火墙、自动索引推荐、性能洞察、资源隔离等智能驾驶功能,支持了冷热分离的云原生能力,解决了企业去O难题,帮助企业快速去O。 POLARDBv2.0 for PostgreSQL,完全兼容PostgreSQL,支持并行计算,混合负载,GIS时空等多模计算,具备冷热分离的云原生能力,是企业级客户(党政军、医疗、新零售、新制造、科研机构、金融、互联网、物联网、交通、航空、地图,气象,测绘,LBS,国土,GIS等专业领域)核心数据库上云的很好选择。 目前已经有大量用户开始使用了阿里云POLARDB 2.0,这次发布将会推进业界更多用户迁移到POLARDB V2.0! polardb 2.0 升级发布会,点击报名!一图快速了解:发布核心、场景、优势、接入、更多! 快来参与话题,各种奖品等你拿~ 1、您对于新上线的POLARDB V2.0,最期待的新功能是什么?2、POLARDB v2.0 是怎样帮助用户快速去O的?具体的步骤有哪些?3、POLARDB v2.0 内置的并行计算对复杂查询的性能提升有多大?为什么可以解决用户OLTP和OLAP混合场景的痛点? 4、POLARDB v2.0 的多模功能是什么概念?可以解决哪些业务场景的问题?

王滕滕

请问 这样写性能很差?又没有JSON.parse 如何做性能优化?

请问 这样写性能很差?又没有JSON.parse 如何做性能优化? 本问题及下方已被采纳的回答均来自云栖社区【前端技术交流群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

时序数据库

GDB的性能怎么样

GDB的性能怎么样

我是小助手

TSQL性能怎么样?

TSQL性能怎么样?

社区小助手

问一个问题哈,在spark中默认使用java serialization ,但同时也提供了 kryo 序列化借口,今天测试了一下 两个不同的序列号借口,发现并没有性能提升,我用的sparksql跑的测试,设计多个join操作,input量为270G , 这个为什么对性能没有提升呢? 有大佬做过这方面的研究吗

问一个问题哈,在spark中默认使用java serialization ,但同时也提供了 kryo 序列化借口,今天测试了一下 两个不同的序列号借口,发现并没有性能提升,我用的sparksql跑的测试,设计多个join操作,input量为270G , 这个为什么对性能没有提升呢? 有大佬做过这方面的研究吗

李博 bluemind

【精品问答合集】MongoDB热门问答

请问 阿里MongoDB添加索引是在哪里添加呢?https://yq.aliyun.com/ask/497819MongoDB有全局一致性快照吗?https://yq.aliyun.com/ask/497656MongoDB cursor 中的 batchSize 参数有什么用啊?https://yq.aliyun.com/ask/496953MongoDB的连接该怎么理解?https://yq.aliyun.com/ask/496336 以下问题已有400+用户浏览过但至今还未有人回答,你愿意来挑战下吗?请问能oracle 同步到MongoDB 吗?https://yq.aliyun.com/ask/497661MongoDB 为什么使用B-树而不是B+树?https://yq.aliyun.com/ask/497368MongoDB怎么做到动态表名?https://yq.aliyun.com/ask/496800MongoDB跑容器上性能怎么样,有了解的吗?https://yq.aliyun.com/ask/496358 技术交流群 Redis&MongoDB 社区大群 点击链接入群 https://c.tb.cn/F3.ZR5e5f 或扫码进群 Redis&MongoDB 社区大群

hbase小能手

【精品问答合集】Hbase热门问答

hbase 大量写入很慢https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问https://yq.aliyun.com/ask/42409 公网访问emr hbase的问题https://yq.aliyun.com/ask/39720 Hbase数据是否可以同步到OSS中https://yq.aliyun.com/ask/23711 hbase源码调试https://yq.aliyun.com/ask/438657 HBase import时产生得bughttps://yq.aliyun.com/ask/438638 使用Java API访问phoenix报错?https://yq.aliyun.com/ask/439917 Hbase异步客户端https://yq.aliyun.com/ask/439907 Hbase 在大规模用户画像标签,标签有近百个左右,适合吗?https://yq.aliyun.com/ask/448741 hbase 2 内置现在的事务做的怎么样?支持到什么隔离级别?如果有的话,hbase分布式事务依靠什么做的?https://yq.aliyun.com/ask/448740 批量删除hbase的数据用什么方式比较快https://yq.aliyun.com/ask/447406 hbase作为实时的储存数据库,用spark和fink怎么实现呢?https://yq.aliyun.com/ask/448802 CDH 最新版已经集成了HBase2.0,不知道有没有体统HBCKhttps://yq.aliyun.com/ask/448792 tidb这类new sql 会对hbase造成很大冲击吗?https://yq.aliyun.com/ask/448782 HBase 2.0 的查询性能怎样优化?https://yq.aliyun.com/ask/448780 hbase中如何每天更新千万级别的用户标签数据?https://yq.aliyun.com/ask/450137 Hbase的bulkload有全量与增量的概念么?https://yq.aliyun.com/ask/450133 Hive on hbase 分析10亿以上数据不是特别好?https://yq.aliyun.com/ask/450103 直接读HFile与 通过hbase读,它们性能提升多少https://yq.aliyun.com/ask/455599 HBase region个数如何划分?https://yq.aliyun.com/ask/455593 请问阿里云上可以搭建虚拟机吗,我需要搭建一个hbase的数据存储平台,至少3个服务器,可以在云服务器上搭建吗https://yq.aliyun.com/ask/48679 以下问题已有400+用户浏览过但至今还未有人回答,你愿意来挑战下吗? cdh安装如何在host中配置多个iphttps://yq.aliyun.com/ask/450144 java连接hbase开启kerberos失败https://yq.aliyun.com/ask/451214 请问hbase advanced user是什么,如何成为advanced user?https://yq.aliyun.com/ask/452248 建表时加盐怎么加性能比较好https://yq.aliyun.com/ask/498250 cdh5.11-hbase1.2 这个版本的hbase,出现了region 下的store file 全部丢失的问题,且hbck 恢复不了,在写入的时候已经确认写入了,会不会是手动marjor_compact导致的?或者有遇到相似问题的怎么恢复?https://yq.aliyun.com/ask/498344 技术交流群 HBase生态+Spark社区大群 点击链接入群 https://dwz.cn/Fvqv066s 或扫码进群

云攻略小攻

2倍以上性能提升!史上最适合企业应用场景的开源关系型数据库MySQL8.0重磅袭来,还等什么?

MySQL是开源生态最流行的数据库之一,MySQL 8.0是近几年MySQL最重要的升级。 阿里云一直紧跟MySQL开源社区的发展,5月29日将在国内首家提供MySQL 8.0云数据库服务,全球同步发售。此次阿里云数据库团队推出的MySQL 8.0版本是SQL开源数据库产品史上的里程碑,预示着开源数据库更多的朝企业级需求与功能上的演进,也表明阿里云数据库团队保证企业级数据库的服务与体验均业内领先的决心与行动。 除了官方在 MySQL 8.0 推出的全新功能外,AliSQL 沉淀了许多在 Alibaba 集团电商业务和云上几十万客户在使用 MySQL 过程中遇到的问题和需求,以此来加固AliSQL, 提升 AliSQL 的性能和稳定性。 从MySQL 5.7 到 8.0,官方跳跃了 Major Version 版本号,在 MySQL 8.0 上做了许多重大更新,在企业级数据库的路上大步前行,全新 Data Dictionary 设计,支持 Atomic DDL,全新的版本升级策略,安全和账号管理加强,InnoDB 功能增强等。 目前已经有大量用户开始使用了阿里云RDS MySQL8.0服务,这次发布将会推进业界MySQL技术加快升级到MySQL 8.0。 MySQL 8.0 升级发布会:持续报名中快速查看:2倍以上性能提升,SQL窗口函数、JSON扩展语法等企业级新功能震撼上市! 快来参与话题,各种奖品等你拿~ 1、您对于新上线的MySQL 8.0,最期待的新功能是什么?2、您在使用阿里云RDS for MySQL作为您数据库的时候,最大的运维痛点是什么?如果您还没有使用过阿里云数据库,您希望在使用中别出现什么类型的运维问题?3、 您希望阿里云RDS for MySQL数据库能提供什么现在没有的功能,满足您最重要的需求?

游客886

项目中使用Lucene时遇到“概率发生Lucene入库性能线性下降,持续一段时间(小时级别)数据不入Lucene DB库,然后又线性恢复正常入Lucene DB库。”的现象,哪位大侠有类似经历,求指导

项目中使用Lucene时遇到“概率发生Lucene入库性能线性下降,持续一段时间(小时级别)数据不入Lucene DB库,然后又线性恢复正常入Lucene DB库。”的现象,哪位大侠有类似经历,求指导本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

游客886

请教一下, 规划wal日志存放在单独ssd磁盘,使用fdatasync 刷盘方式, ext4 xfs btrfs 哪种性能好一些?

请教一下, 规划wal日志存放在单独ssd磁盘,使用fdatasync 刷盘方式, ext4 xfs btrfs 哪种性能好一些? 本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

社区小助手

游客vuwmexobe6lyo

Phoenix关联查询性能上和Mysql差距大吗?

phoenix关联查询性能上和Mysql差距大吗?

小六码奴

如何使用EMR上的spark有效地读取/解析s3文件夹中.gz文件的负载

我正在尝试通过在EMR上执行的spark应用程序读取s3上目录中的所有文件。 数据以典型格式存储,如“s3a://Some/path/yyyy/mm/dd/hh/blah.gz” 如果我使用深度嵌套的通配符(例如“s3a:// SomeBucket / SomeFolder / / / / *。gz”),性能非常糟糕,需要大约40分钟才能读取几万个小的gzip压缩文件。我的另外两种方法,我的研究告诉我,它的性能要高得多。 使用hadoop.fs库(2.8.5)我尝试读取我提供的每个文件路径。 private def getEventDataHadoop( eventsFilePaths: RDD[String] )(implicit sqlContext: SQLContext): Try[RDD[String]] = Try( { val conf = sqlContext.sparkContext.hadoopConfiguration eventsFilePaths.map(eventsFilePath => { val p = new Path(eventsFilePath) val fs = p.getFileSystem(conf) val eventData: FSDataInputStream = fs.open(p) IOUtils.toString(eventData) }) } ) 这些文件路径由以下代码生成: private[disneystreaming] def generateInputBucketPaths( s3Protocol: String, bucketName: String, service: String, region: String, yearsMonths: Map[String, Set[String]] ): Try[Set[String]] = Try( { val days = 1 to 31 val hours = 0 to 23 val dateFormatter: Int => String = buildDateFormat("00") yearsMonths.flatMap { yearMonth: (String, Set[String]) => for { month: String <- yearMonth._2 day: Int <- days hour: Int <- hours } yield s"$s3Protocol$bucketName/$service/$region/${dateFormatter(yearMonth._1.toInt)}/${dateFormatter(month.toInt)}/" + s"${dateFormatter(day)}/${dateFormatter(hour)}/*.gz" }.toSet } ) hadoop.fs代码失败,因为Path类不可序列化。我想不出怎么能解决这个问题。 所以这导致我使用AmazonS3Client的另一种方法,我只是要求客户端给我文件夹(或前缀)中的所有文件路径,然后将文件解析为字符串,由于它们被压缩可能会失败: private def getEventDataS3(bucketName: String, prefix: String)( implicit sqlContext: SQLContext ): Try[RDD[String]] = Try( { import com.amazonaws.services.s3._, model._ import scala.collection.JavaConverters._ val request = new ListObjectsRequest() request.setBucketName(bucketName) request.setPrefix(prefix) request.setMaxKeys(Integer.MAX_VALUE) val s3 = new AmazonS3Client(new ProfileCredentialsProvider("default")) val objs: ObjectListing = s3.listObjects(request) // Note that this method returns truncated data if longer than the "pageLength" above. You might need to deal with that. sqlContext.sparkContext .parallelize(objs.getObjectSummaries.asScala.map(_.getKey).toList) .flatMap { key => Source .fromInputStream(s3.getObject(bucketName, key).getObjectContent: InputStream) .getLines() } } ) 此代码产生null异常,因为配置文件不能为null(“java.lang.IllegalArgumentException:配置文件不能为null”)。请记住,此代码在AWS中的EMR上运行,因此如何提供所需的凭据?其他人如何使用此客户端在EMR上运行spark作业?

云攻略小攻

千万QPS的缓存!Redis 5.0最新的Stream数据结构,你还在等什么?

讲到Redis大家都很熟悉,Redis是意大利西西里岛帅哥Salvatore Sanfilippo的开源作品~,2009年诞生,走到2019年已经十周年了~Redis最大的特点就是快,访问延时在1ms内,同时单实例性能就能达到10w+ QPS,中国互联网典型的场景就是用户多、高并发,所以各大互联网公司都对Redis有深度的使用。作者最新推出的Redis 5.0增加了Stream的数据结构, 它是一个新的强大的支持多播的可持久化的消息队列。本次阿里云将推出全新版本的Redis 5.0,在提供社区功能的基础上提供了更多的企业级的特性~ (1)审计日志:提供操作日志、敏感日志、慢日志的审计能力~对于重要的数据变更能做到可以追溯(2)大key分析能力: Redis使用过程中经常因为业务使用不当引起大key的问题,为此阿里云Redis在服务端提供了大Key的分析能力,当前分析能力覆盖了Redis 4.0、5.0的版本~,可以为客户分析后端数据的内存使用情况。同时在本次发布会我们还将对阿里云Redis的性能增强版本和混合云解决方案进行介绍~对于性能增强版本我们通过多线程突破了开源Redis单线程的瓶颈,整体的QPS能力能达到社区的300%,对于混合云的解决方案客户可以通过redis-shake搭建同步通道,通过redis-full-check搭建数据比对通道,客户可以在业务上灵活配置访问流量,保证企业客户的上云流程~云数据库Redis 5.0重磅发布会,直播入口 支持全新Stream 数据类型,给您不一样的缓存体验,快速查看! 你优秀,你来说:1、您在什么样的业务场景下会使用Redis?一般是单独使用还是组合其他数据库共同使用?2、您对于Redis Stream的应用场景有什么希望了解的,对于消息队列的选型有什么历史经验?3、您希望阿里云Redis提供哪些功能帮助您解决日常使用问题?

k8s小能手

k8s的日志服务开启有什么好处,性能有什影响吗?不开启日志服务时,将无法使用集群审计功能 这个审计功能能帮助我做些什么?

k8s的日志服务开启有什么好处,性能有什影响吗?不开启日志服务时,将无法使用集群审计功能 这个审计功能能帮助我做些什么?

李博 bluemind

MongoDB跑容器上性能怎么样,有了解的吗?

MongoDB跑容器上性能怎么样,有了解的吗 本问题均来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

李博 bluemind

咨询下MongoDB在centos7.2与centos7.4版本下性能有明显差距吗?

咨询下MongoDB在centos7.2与centos7.4版本下性能有明显差距吗? 本问题来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

李博 bluemind

MongoDB多集合分页查询

MongoDB中存放了两个Collection,两个Collection结构完全一样。现在需要做分页查询,而MongoDB不支持类似Join的功能,无法做到数据合并排序。 考虑使用PHP做这个功能,但又担心性能和速度的问题。 问问还有其他的方法吗,谢谢。 本问题及下方已被采纳的回答均来自云栖社区【Redis&MongoDB 社区大群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。