报表

#报表#

已有2人关注此标签

内容分类

dataworks团队

互联网大数据时代的实时计算需求,你打算用什么方式来应对?

现在互联网大数据背景下,由于数据得到广泛应用之后,数据的价值随着时间的流逝而降低,所以事件出现后必须尽快对它们进行处理,最好事件出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存起来成一批处理。实时计算引擎近些也随之崛起,比如业界广泛使用的就是Flink引擎,同时这就要求开发人员在计算引擎上建立和开发对应的实时计算任务。 传统实时任务开发痛点 无论是SQL还是Java、python,开发任务必须写代码,而且代码形式不利于后期业务逻辑分析和维护 开发过程中无法调试,只能等全部任务完成,才能上线调试,有问题修改后在上线,反复验证 UDF开发需要单独打包编译上传,跟任务本身属于分割开发状态,容易造成流程繁琐,版本混淆 运维门槛非常高,如果不是对实时计算引擎了解精深,很难做到有效运维、排查问题 为了解决上述问题,DataWorks重磅推出的全新实时计算产品——Stream Studio,是个一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建。同时在易用性上大大降低了开发者的使用门槛。 StreamStudio集DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。 >>5月15日 15:00 DataWorks Stream Studio发布会 直播间入口>>更多了解Stream Studio 话题1.之前你对大数据实时计算有了解吗?知道哪些应用场景?2.是否开发过实时任务,有的话,是用于什么场景的?用过什么工具?3.对于大数据实时计算的平台,你有什么好的建议吗?

游客886

请教个问题。我一个报表报“ ERROR: operator is not unique: numeric = integer”错误。但是当前public模式下的“numeric = integer”操作符只定义了 一个。

请教个问题。我一个报表报“ ERROR: operator is not unique: numeric = integer”错误。但是当前public模式下的“numeric = integer”操作符只定义了 一个。那些操作符是我在B用户中创建的,切换到A用户下,再创建“numeric = integer”操作符问题就解决了。想问下,怎么让A用户使用B用户下的那个操作符? 本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

hbase小能手

请问一下、复杂的sql报表、用什么方案比较好、数据很大、是从oracle来的、想改造

请问一下、复杂的sql报表、用什么方案比较好、数据很大、是从oracle来的、想改造

1036345202529583

javaweb项目开发报表用什么?开源的

javaweb项目开发报表用什么

晓生寒

[@小川游鱼][¥20]项目上线三个月,每天过亿的数据量....如何处理是好?

1、数据表里面的数据是在是太多了,通常要做一些数据统计报表之类的工作,头疼的很 2、已经做过如下的处理,但是...似乎已经快到极限,撑不下去了 1) 分表 2) 索引 3) SQL优化优化再优化 4)代码优化 3、 请求大家给个解决方案。我举个简单场景例子: 登陆表里面会有用户的登陆记录,每个人会再一天内登陆很多次,你可以想象下,每天登陆的次数总计过亿次,但是我们可能需要的是一个去重复的数据(这只是一个简单场景)

晓生寒

[@talishboy][¥20]请教关于系统架构如何合理设计问题

目前计划搭建一个能处理6000+TPS的数据采集和分析系统,平均秒入库数据量大概3000条据(单条数据4k),数据保留一周,主要业务是入库和集可数据报表查询,请问大牛我应该怎么搭建此业务系统。1、需要采用什么技术、数据库、中间件。2、保证业务可用,造价成本要求合理的情况下,需要什么物理资源、什么配置服务器,数量几台?

李博 bluemind

李博 bluemind

flink小助手

一般是用flink处理完后数据写入hbase或者es等存储,然后前台实时展示吗?

实时报表,一般是用flink处理完后数据写入hbase或者es等存储,然后前台实时展示吗?

carloschao

[@徐雷frank][¥20]MySQL亿级数据迁移MongoDB方案

问题场景 目前MySQL数据库历史数据按天分表,每天约4千万条数据,目前报表只能查询一天数据,且耗时较长 问题描述 如何将MySQL历史数据迁移到MongoDB MongoDB存储表内容应当遵循什么规则和标准 迁移后如何支持大数据查询统计

红警专家czy

[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合

你好,徐老师,我说在的公司是游戏公司。现在目前使用的是社区版最新mongodb,我们使用mongodb主要用于游戏玩家行为的一些日志记录,例如玩家的留存率,登陆信息,还有一些关卡的相关埋点统计数据等都会插入到mongodb中,然后我们现在是通过mongo语句进行查询过滤后由JAVA进行计算BI报表的形式前端展示。我想问问这样会不会对数据库有性能问题?因为目前数据量比较少还不能察觉出来,估计游戏正式上线后 以10W人为单位, 每日mongo产生大约50G数据 很快数据量就会上来 如果使用这种方式的查询,效率是不是会很低(毕竟是通过SQL查询),如果要改进,我们是否需要将这个系统改造为大数据进行计算,目前我们看到mongo官方有提供连接器可以和spark进行连接,如果系统需要改进,请问徐老师有什么建议?谢谢

carloschao

[@徐雷frank][¥20]每天千万级有一定规则数据量的数据库如何选型

问题场景 假如需保存CPU、进程数量、内存值、测点值,2秒保存一次,信号数量约50W 实际存储按信号变化存储,既测点值变化才存储 估算存储数据约50W条,每一秒需保存一次记录,以便做报表分析 部分数据格式如下 信号ID 信号名称 信号值 信号发生时间 1 CPU1 50 2018-11-11 11:11:11 2 CPU2 45 2018-11-11 11:11:11 3 CPU3 52 2018-11-11 11:11:11 4 CPU4 38 2018-11-11 11:11:11 5 CPU5 22 2018-11-11 11:11:11 ... ... ... ... 问题描述 数据库存储该如何选型,选择时序型数据库还是MongoDB 数据如何存储,存储是否需要按照范式拆表 每天产生约4千万数据,如何保证查询效率

若有-若无

今天咱们严肃活泼的聊聊下一代大数据计算引擎

权威解读:阿里云实时计算究竟对Apache Flink做了哪些‘改造’? 阿里云实时计算是一套基于Apache Flink™️构建的一站式全托管实时大数据处理平台。11月14日下午3点,实时计算团队的资深专家,和我们权威解读阿里眼中下一代大数据计算引擎的前世今生,聊聊阿里实时计算的那些事儿! 权威解读 实时计算团队将于11月14日举办实时计算产品线上发布会,届时重磅发布实时计算独享模式,资深技术专家和高级产品专家将共同分享阿里眼中的下一代大数据计算引擎。 演讲主题:《阿里巴巴对Apache Flink的改进和贡献》 王峰(莫问)阿里巴巴资深技术专家2006年毕业后即加入阿里集团,长期从事大数据技术研发工作,目前在计算平台事业部担任资深技术专家,负责实时计算引擎团队,旨在打造世界一流的实时计算平台。对Apache Flink™️进行了大量架构改进,功能完善和性能提升,打造出了阿里新一代实时计算引擎,并统一服务阿里集团所有实时计算业务和实时计算云产品。 演讲主题:《阿里云实时计算:下一代大数据计算引擎》 陈守元(巴真)阿里巴巴高级产品专家阿里巴巴实时计算团队产品负责人,2010年毕业即加入阿里集团参与淘宝数据平台建设,近10年的大数据从业经验,开源项目Alibaba DataX发起人,当前负责阿里实时计算产品的规划与设计,致力于推动Apache Flink™️成为下一代大数据处理标准。 客户说 阿里云实时计算今年4月份正式商业化之后,截止目前,使用用户已经超过2000家。在已有的用户中,实时计算主要应用于实时互联网数据分析、实时数据大屏、实时金融风控、电商实时推荐等诸多领域。阿里集团内淘宝、天猫、天弘基金、菜鸟、工业大脑等诸多业务均大量应用了实时计算技术,在集团外,也包括众安保险、全民TV、新华智云、贵州茅台等诸多公司的应用案例。 阿里影业:影业实时报表开始做法也是按照传统型报表做法一样,直接从阿里云rds写sql查询,随着数据量越来越大,这种做法已经没有办法满足业务扩张,带来的问题响应时间变慢,吞吐量低,我们急需要一种技术方案能满足未来2-3年随着影院增加,数据增长,而报表功能还能很好的满足客户需求技术方案。后面接触到实时计算,得以很好解决这一业务难题。淘宝:随着淘宝内容化的深入发展,实时选品的需求越来越强烈。对于某些实时性要求较高的产品(SPU)而言,运营小二希望自己圈定产品池可以当天实时生效,以供创作者写文章使用。该需求对选品的实时性要求较高,比较适合流式计算的特点。因此,采用实时流计算技术来实现该功能,实际应用中取得较好效果。袋鼠云:贵州茅台,中国知名品牌,销售渠道广泛,获得巨大成功的同时,也有一些非常严重的问题,比如:黄牛刷单现象严重、数据采集实时性、稳定性差、各渠道下的流量、交易及售后物流、服务、退款退货等环节分析困难、异常预警信息监控困难等,袋鼠云基于实时计算 Flink开发了茅台企业大脑,很好的解决了上面的问题。 实时计算 产品试用线上直播地址 话题 1.你了解 流计算/实时计算 主要解决哪些业务场景下的问题吗? 2.你体验过实时计算/Flink吗, 解决了哪些业务问题?3.你认为Flink要成为下一代大数据计算引擎,要解决哪些问题?4.关于实时计算/Flink,你有什么问题想了解的?(问题被选中,即可有礼品哦) 我们准备50件礼品给参与上述问答的同学(勿水贴,认真填写均能取得我们的小礼物哦),欢迎对实时计算/Flink感兴趣的大数据爱好者们届时观看活动直播,与我们的嘉宾进行线上互动!

jamesby

关于postgreSQL实现稠化报表

请教各位老师一个问题哈, SELECT app_company_name AS NAME, COUNT (*) AS appCount, to_char(created_date, 'yyyy-MM') AS DATA FROM gd_task_manage WHERE app_company_id = 2 AND to_char(created_date, 'yyyy-MM') BETWEEN '2018-07' AND '2018-10' GROUP BY to_char(created_date, 'yyyy-MM'), NAME; 这个SQL的话,假设没有7月份的数据,怎么可以实现依旧展示出7月份count为0的效果呢?(整理来自PostgreSQL技术进阶群)

怀旧112

仪表盘公开后,在手机访问时,超过手机宽度的报表,手机上的滑动控件不可用

仪表盘公开后,在手机访问时,超过手机宽度的报表,手机上的滑动控件不可用试了多种手机浏览器都不行

李杨卓

阿里云ACA第二章考试有些问题不懂

疑惑一:如果要呈现产品类型、区域、销量,用哪种图? (4选1:气泡图、 柱状图、瀑布图、饼图)疑惑二:数据分析平台包括哪些部分?5选3(事务处理、数据同步、数据清洗、数据处理、数据展现)疑惑三:一个大型企业每天产生10T数据,直接放在业务系统进行数据分析,这样是对是错?疑惑四:数据仓库可以做什么?4选2(业务办理、缴费、报表查询、数据挖掘)疑惑五:如果在ODPS中设置一个任务每日2点30分执行,以后每天都会执行吗?

马铭芳

JAVA web 【精品问答合集】

按照建站教程的JAVA Web环境变量配置设置好服务器,但是通过端口访问不了服务器 https://yq.aliyun.com/ask/58672 Java web项目部署到Ubuntu服务器后,提示错误:无法编译jsp文件https://yq.aliyun.com/ask/58173 部署在ECS上的Java web项目读不出来,什么原因?https://yq.aliyun.com/ask/58198 java web系统框架方案? https://yq.aliyun.com/ask/7159 请教各位如何快速上手java web ? https://yq.aliyun.com/ask/29227 java web 怎么读取网络上的JSON数据 https://yq.aliyun.com/ask/8816 centos7上安装的mysql,java web应用无法连接 https://yq.aliyun.com/ask/40489 eclipse 4.3 安装开发java web的插件 用哪种啊?https://yq.aliyun.com/ask/24650 java web搜索如果不用搜索引擎一般用什么https://yq.aliyun.com/ask/8105 java Web 计时器 https://yq.aliyun.com/ask/7846 java web项目值问题Spring webwork 框架!https://yq.aliyun.com/ask/9469 java web项目如何调用.so文件? https://yq.aliyun.com/ask/7601 java web开发报表工具如何选择 https://yq.aliyun.com/ask/7926 Java Web 项目权限模块实现困惑 https://yq.aliyun.com/ask/15316? Java web怎么得到下载完成? https://yq.aliyun.com/ask/43499 java web运行时tomcat经常自动关闭,什么情况?https://yq.aliyun.com/ask/22019 关于java web级联问题 https://yq.aliyun.com/ask/16825 java web服务器如何监听服务器上的sendmailhttps://yq.aliyun.com/ask/7931 javaweb应用读取mysql数据,经常不是最新的,求大神解救https://yq.aliyun.com/ask/38995 请问JAVA WEB 怎么精确定位? https://yq.aliyun.com/ask/16635 Java web返回JSON数据的封装问题 https://yq.aliyun.com/ask/33296 Java web网站含图片的表单上传问题https://yq.aliyun.com/ask/7525 Java Web项目中并发量由什么因素影响?https://yq.aliyun.com/ask/9145 同一个javaweb客户端需要访问两个以上不同的https形式的url时,如何设置客户端证书? https://yq.aliyun.com/ask/21587 java web系统,如何禁止同一用户重复登录?https://yq.aliyun.com/ask/18599 java web中的过滤器的filterchain是针对所有的filter的吗?https://yq.aliyun.com/ask/9763 我的java web项目部署到linux下遇到的mysql问题https://yq.aliyun.com/ask/34414 linux下发布java web项目要配置哪些安全事项呢?https://yq.aliyun.com/ask/26814 java web如何把页面放到缓存里让nginx直接读取 https://yq.aliyun.com/ask/10543 java web怎么保证自己只能操作自己的记录,别人不能?https://yq.aliyun.com/ask/15295 Java Web中数据从前端输入到插入数据库哪些地方需要考虑字符编码?https://yq.aliyun.com/ask/8392 java web 怎么给android手机客户端提供接口? https://yq.aliyun.com/ask/8865 java web项目怎么上传到服务器,域名可以访问网站https://yq.aliyun.com/ask/56049 JAVA开发的WEB系统,JAVA 文件改动后, 是否需要重新启动WEB服务器 https://yq.aliyun.com/ask/16748 请问php+java做的web项目用thrift做通信后放在什么的服务器软件下合适? https://yq.aliyun.com/ask/26116 java与php做web开发的区别 https://yq.aliyun.com/ask/7733 web应用放在别的tomcat的webapps文件夹下,如何获取项目路径?https://yq.aliyun.com/ask/20577

阿毛哥

双十一轮播列表柱状图在iphone上无法显示

我用双十一轮播列表柱状图做了报表,但iphone手机上显示一片空白,在Android上能正常显示,求大神指导。

service0929

bi报表的场景

我要怎么给销售讲解这个bi报表呢,然后销售们去给客户讲,但是我一直没有搞懂他应用场景,就是比如在什么情况下使用比较好