数据管理

#数据管理#

已有3人关注此标签

内容分类

管理贝贝

阿里巴巴小程序繁星计划,你来做最闪亮的那颗星吗?

3月21日,在2019阿里云峰会·北京上,阿里巴巴旗下的阿里云、支付宝、淘宝、钉钉、高德等联合发布“阿里巴巴小程序繁星计划”:提供20亿元补贴,扶持200万+小程序开发者、100万+商家。凡入选“超星”的小程序,入驻支付宝、淘宝、钉钉、高德后还能得到流量重点支持。 阿里云同时发布小程序云,提供一站式云服务,为开发者提供稳定和便捷的后端云服务,包括serverless开发套件、应用托管服务、函数计算等。支付宝、高德、淘宝、钉钉及众多第三方上亿流量的小程序后端获统一标准。开发者可在这些小程序端上进行统一的应用发布、资源管理、数据管理。 未来,阿里巴巴商业操作系统的业务能力也将在小程序云上逐步开放,帮助电商、金融、生活服务等各行业开发者和企业客户快速链接阿里巴巴经济体生态。 对于200万+小程序开发者的补贴和扶持,你有什么建议吗? 对于提供一站式云服务,开发者可在这些小程序端上进行统一的应用发布、资源管理、数据管理,你有什么看法? 你期待加入阿里小程序生态吗? 更新:小程序云应用上线了,免费申请名额有限 https://www.aliyun.com/solution/miniprogram/cloudapp 欢迎到小程序开发者交流群,做最闪亮的星星! 阿里20亿小程序繁星计划你最需要知道的几个问题(持续更新)本次阿里云峰会更多内容请关注:【不断更新】2019阿里云峰会·北京,重磅报道

lyrewu

盘点2018数据泄露,数据权限放还是不放?

来自网络数据:网络安全年终盘点:2018年数据泄露事件回顾Facebook 数据泄露,致市值大跌!时间:2018年3月、泄露数据量:约8700万用户数据安德玛1.5亿用户信息泄露时间:2018年3月、泄露数据量:1.5亿A站惨遭拖库,近千万用户数据外泄时间:2018年6月、泄露数据量:近千万快递行业惨遭重创,圆通10亿条用户信息数据外泄时间:2018年6月、泄露数据量:10亿重蹈覆辙,顺丰快递3亿用户信息外泄时间:2018年7月、波及用户:约3亿华住集团5亿用户数据泄露时间:2018年8月、泄露数据量:约5亿万豪集团步华住集团后尘时间:2018年11月、泄露数据量:约5亿 简直触目惊心!数据泄露事件在2018年可谓是接二连三的发生,企业数据安全建设是企业不容忽视的数据屏障,数据库表账号密码等权限急需收口管控。除了严防黑客,也不能给内部员工犯错机会,不管是有意的还是无意的,当然管控的同时也不能影响研发流程和工作效率。传统数据库安全管控方案漏洞频出传统的人为数据安全管控方案有两种,集权管理和分权管理。使用集权管理方案需要在业务代码使用账号之外,创建独立的读写账号、只读账号,只给与DBA、运维等特定的人员,但是这种方案的弊端在于,对于有些需要快速响应查看数据进行决策的场景,繁琐的步骤将直接影响研发效率。如果采用分权管理,创建独立的读写账号、只读账号,分发到一线负责人,相较于集权管理,效率有一定的提升,但是接触数据库账号密码人员较多,人员变动时需要及时变更账号密码信息确保安全。 阿里云数据管理DMS企业版针对此问题,提供了从访问源头开始防护的完善、成熟的数据安全访问解决方案。作为业界领先的面向企业的数据库DevOps解决方案,DMS企业版旨在帮助企业安全、高效的使用数据库,提升研发与DBA运维的协作效率,为企业核心数据提供更安全的访问管控和操作记录查询审计。通过DMS企业版,员工不再直接接触数据库账号密码,但可在DMS平台完成库表权限申请、字段分级、数据变更、数据导出、数据查询、结构设计、库表同步、SQLReview、访问IP白名单、自定义审批流程、操作审计等在内的多项功能和服务。2019年2月27日,数据管理DMS企业版重磅升级研发流程和安全管控,并将直播发布,免费报名观看>>数据安全升级:引入数据保护伞实现库表字段元数据、表内数据的规则自动扫描打标,帮助用户更有效的进行数据的分级管理;避免不必要的敏感数据流出风险。研发流程升级:新增界面化表结构设计功能支持MySQL、DRDS、OceanBase引擎企业按需指定设计规范、设计流程,进行有效的变更管控;同时新增MySQL引擎的完全不锁表结构变更支持,规避业务在结构变更期间锁表造成的阻塞问题。同时,数据管理DMS重磅推出云数据库实验室,提供免费空间,让你无需拥有数据库即可玩转数据管理!快来体验吧! 问题来啦,按照下面格式回复赢奖品!1、你们企业的研发可以直接接触数据库账号密码吗?操作权限有怎样的审批流程,是否影响研发效率?2、在你看来,身边有哪些数据安全隐患?3、从企业数据安全出发,你认为的数据权限该不该放给研发,该如何放?数据管理DMS年度升级,阿里云数据库实验室直播传送门!

lyrewu

阿里云完整的数据库服务体系,还有什么业务需求不能满足?

阿里云提供了一整套数据库产品及其解决方案,以RDS为主,针对不同业务场景也推出分布式关系型数据库DRDS、时序时空数据库TSDB及数据库服务产品,如云上数据自由流通的数据传输DTS、多引擎数据库统一管理平台数据管理DMS、多环境实时数据库备份DBS,全方面满足企业数据库架构及业务需求。 宝藏都在数据库里,这也是为什么云厂商都会提供丰富的数据库产品:分布式关系型数据库DRDS 专注于解决单机关系型数据库扩展性问题,具备轻量(无状态)、灵活、稳定、高效等特性,是阿里巴巴集团自主研发的分布式数据库产品,稳定运行10年,经历历届双十一核心交易业务和各类行业业务的考验,是您值得信赖的选择。 时序时空数据库TSDB ( Time Series and Spatial-Temporal Database , 简称 TSDB) 为物联网而生,是一种集时序数据高效读写,压缩存储,实时计算能力为一体的数据库服务,可广泛应用于物联网和互联网领域,实现对设备及业务服务的实时监控,实时预测告警。时序时空数据库TSDB推出首购首月1元体验! 数据传输服务DTS (Data Transmission Service) DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为阿里双11异地多活基础架构, 为数千下游应用提供实时数据流。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。 数据管理DMS 提供关系型数据库和NoSQL的统一管理。它源自阿里数据库服务平台iDB,为数万研发人员提供数据库研发支撑。您可使用数据管理DMS促进数据库研发自助化,提升研发效率,同时保证员工数据库访问安全及数据库高性能。 数据库备份DBS(Database Backup,简称DBS)是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护,包括企业数据中心、其他云厂商、混合云及公共云。 11月11日前,通过此链接购买,DTS/DMS/DBS 1年付新购5折!DRDS/TSDB 1年付新购7折!亦可通过上述产品详情页的活动链接进行选购,记得选择时长 1年 哦。 问题来了:1、你用过哪几个上述数据库产品?2、主要用于哪种业务场景实现?3、双11折扣力度这么大,还在等什么~?

smilou

MYSQL云数据库 event定时事件不能创建

与数据库是购买的MySQL DMS3.5.2(免费版),现在需要写一些定时任务进行处理,无法新建EVENT定时任务。是否是由于是免费版没有这个功能,只能用高级版的数据管理-企业版才具有EVENT定时任务功能?

马铭芳

爬虫数据管理【问答合集】

目前互联网中网络爬虫的自然语言处理方向前景怎样?https://yq.aliyun.com/ask/195258artTemplate:arttemplate生成的页面可以爬虫可以爬到数据吗https://yq.aliyun.com/ask/226332爬虫如何自动读取更多按钮https://yq.aliyun.com/ask/177860能推荐一个爬虫+数据挖掘的成熟工具吗?https://yq.aliyun.com/ask/121576爬虫和数据挖掘的区别?https://yq.aliyun.com/ask/121522爬虫数据用什么数据库储存最合适?https://yq.aliyun.com/ask/121854scrapy-redis分布式爬虫启动为什么会等待https://yq.aliyun.com/ask/185071部署了CDN,但是爬虫抓取仍然超时。https://yq.aliyun.com/ask/119262怎样将爬虫正常访问我的主域名https://yq.aliyun.com/ask/66704python 爬虫报错 , 是什么原因呢?https://yq.aliyun.com/ask/126797python的爬虫采集,和php采集器意义一样么?什么区别?https://yq.aliyun.com/ask/65930站点百度爬虫联通率低,有没有解决办法?https://yq.aliyun.com/ask/63848PHP可以写网页爬虫吗 ?原理是什么?https://yq.aliyun.com/ask/29398用Java写网络爬虫有哪些比较好的开源项目?https://yq.aliyun.com/ask/7440防止网络爬虫进行数据抓取https://yq.aliyun.com/ask/20134阿里云上有什么机制或服务可以防御爬虫?https://yq.aliyun.com/ask/42194请问Android爬虫遇到了权限问题怎么办?https://yq.aliyun.com/ask/13993分布式爬虫框架的设计https://yq.aliyun.com/ask/50547如何解决爬虫网页异步https://yq.aliyun.com/ask/21247爬虫怎么保存已经访问过的urlhttps://yq.aliyun.com/ask/10745关于二层爬虫程序数据获取问题?https://yq.aliyun.com/ask/17634PHP爬虫在js对象里该如何获取https://yq.aliyun.com/ask/11199爬虫如何保存已访问过的url?https://yq.aliyun.com/ask/7874

lyrewu

如何快速帮测试妹子造1个亿的业务数据?

拥有与生产环境一致的测试环境是所有测试MM的梦想,其中最头疼的事情就是造测试数据。手工UI逐条插入过,效率太低,短时间内无法生成足够多的测试数据;写脚本,每次用时东改改西改改,造出来的数据长得都差不多。 大批量、多类型、随机数据、边界值在哪里? 开发GG你不懂测试妹子们的痛啊!阿里云数据管理DMS新推出测试数据构建,并且,免费使用。目前支持MySQL数据库,提供随机、自定义、逻辑依赖、枚举4种生成方式,如姓名、手机号、邮箱等常用数据类型都可以直接生成,全程UI点击完成,测试数据直接入库,每分钟生成百万行数据。入口:DMS登录数据库-数据方案-测试数据构建另外,DMS还在不断打磨测试数据的构造,大家对日常测试造数据的吐槽就是产品努力的方向! 所以,欢迎大牛来聊聊: 1.哪些测试工作需要造数据,一般需要造多少条数据? 2.造数据占整个测试时间的比例有多少? 3.你都造过什么样数据?姓名?手机号? 有奖品哦,欢迎专业提需求的你!

lyrewu

拿什么来拯救焦头烂额的DBA?

DBA的一天 周四是发布高峰期,凌晨才填完坑的DBA,周五早上驮着电脑包来到工位还睡眼惺忪地…期望新的一天能够有时间投入到数据库性能优化的研发中…这是一个小目标!一点不比一个亿差![认真脸]打开电脑的那一刻瞬间清醒了,99+的消息在跳动…谁又在搞事情?!研发A:亲,昨天回滚的数据时间点不对啊,还需要再搞一下…2分钟后…亲,我们本来昨天就要上线的啦,麻烦支持下,否则这周又上不了啦… 研发B:亲,昨天上线后发现,我的数据被同事误删了,麻烦帮忙恢复下呀…急急急,在线等!!2分钟后…​在不在?求大神尽快搞定… 研发C:亲,我们今天有个重大发布,需要表结构变更、订正数据,麻烦支持一下啊!另外,这个SQL执行起来好慢,该如何优化下呀? 研发D:亲,我们项目刚立项,辛苦帮忙建库建表并设计下表结构啊啊~ DBA支持群里面也是吵翻了天,慢SQL、索引、性能、回滚、建库建表、订正误操作等等…​…………DBA哥哥内心其实已经很淡定了,每天都是这些事情,每周五要隆重上演一次…研发们都说要发布很急,这么多并行任务再急也搞不动,兄弟们不要燥啊…DBA哥哥从认为最紧急的任务处理,可是处理过程中不断地有人来催…搞到一半的数据被一个个抖屏,一个个电话搞的间歇了十几次,本来5分钟的任务,硬是搞了半个小时,其他时间都用来安抚群众了…不得不说,DBA 哥哥的脾气还真是好,这定力绝非一朝一夕能练就的。其实刚开始的时候脾气也是很暴躁啊,后来呢,就麻木了… 即便已经是多年的数据库管理员了,搞到下午也是焦头烂额的了,​自己内心想搞的数据库性能优化已经搁置好久了,什么时候能够有一刻的清净让DBA来实现他们的小目标呢? 老板来发话啦! 数据管理DMS企业版重磅来袭,中大企业数据库流程管控之利器,阿里巴巴十年沉淀输出!只要研发超过20人,你就值得拥有!老板们,解放你们的DBA,实现研发自助,就等你来内测了! 点击进入数据管理DMS企业版内测>> 问题来啦, 1.你做过DBA吗?或者你的公司有DBA吗,一个DBA负责多少研发的数据库管理呢?2.你所在的公司用过哪些软件管理数据库,研发流程管控需要多少人力介入?最需要解决的棘手问题是什么?3.阿里巴巴沉淀十年的数据库管理平台iDB云上版本为数据管理DMS企业版,支持细粒度流程管控、操作审计、多环境库表发布等等。解放DBA,99%的数据库操作研发可自助完成,你还在等什么? 快来申请内测吧 附:数据管理DMS各版本对比矩阵 快来回答问题拿奖品吧!楼主期待你与数据库的故事,哈哈哈

happycc

2017年程序员最适合看哪些小电影?来推荐好片

程序员有的才华横溢,14岁就创造了RSS1.0规格,足迹遍及整个互联网,但英年早逝;有的活在自己世界并坚守着自己的理想,想法不为他人而决定;有的在尽自己最大的努力来挽救公司,永不言弃的精神在影片中体现的淋漓尽致;有的置生死于度外,揭露出鲜为人知的真相... 您是属于哪种状态呢? 下边来一起看看这些神奇的小电影吧: 互联网之子(The Internet's Own Boy: The Story of Aaron Swartz)影片介绍:斯沃茨很早就参与网络标准的制订,并在14岁就参与创造RSS 1.0规格。 独立游戏大电影(Indie Game: The Movie)影片介绍:Indie Game: The Movie 独立游戏大电影是一部关于独立游戏的纪录片,讲述独立游戏过往的精彩故事。 代码奔腾(Code Rush)影片介绍:这是一部讲述Netscape和Mozilla的故事的纪录片。 现代生活的秘密规则:算法(The Secret Rules of Modern Living: Algorithms)影片介绍(我就不翻译了):Without us noticing, modern life has been taken over. Algorithms run everything from search engines on the internet, to sat navs and credit card data security - they even help us travel the world, find love and save lives. 密码破译者:布莱切利庄园的幕后英雄(Timewatch - Code-Breakers: Bletchley Park's Lost Heroes)影片介绍:你是否知道,二战时期英国的破译中心----布莱切利庄园。庄园位于伦敦以北50英里的BLETCHLEY PARK,由于最高军事机密,这个地名从未出现在任何地图上。布莱切利庄园默默无语,但它改变了整个世界。 谷歌与世界头脑(Google and the World Brain)影片介绍:都说人类从未放弃巴别塔之梦。20 世纪30 年代着名科幻作家威尔斯的《世界大脑》预言,70 年后由智能先锋谷歌变相实现。 极速下载的命运(Downloaded)影片介绍:纪录P2P传输始祖Napster音乐分享网站的兴起与没落,导演亚历士温特藉此一窥网路科技对于音乐产业的巨大影响。 第四公民(Citizenfour)影片介绍:《第四公民》高度还原“棱镜门”事件始末,为观众真实揭秘身处漩涡中心的爱德华•斯诺登。 我们窃取秘密:维基解密的故事(We Steal Secrets: The Story of WikiLeaks)影片介绍:纪录片饶有兴趣地从多种层面描写了信息时代的透明度和我们对真相的永远不依不饶的探寻。影片详述了朱利安•阿桑奇(Julian Assange)维基解密网站(WikiLeaks)的诞生,这个网站助长了美国有史以来最大的安全缺口。 现实生活中的海盗湾(TPB AFK: The Pirate Bay Away from Keyboard)影片介绍:21世纪初,一个标榜着“实现真正的言论和文化传播自由”的网站横空出世。 这些牛逼的程序员 ,你是否都有看过。 看关于程序员电影时你会有什么感受吗?热血沸腾or冷漠脸?(是否也有着类似的梦想和冲动) 你看过哪些印象深刻的,和开发、程序员有关的电影呢,快来一起分享吧? 如果让你拍部关于程序员的电影,你会想讲什么样的故事?

祁同伟

你好,下面有几个关于数据管理-->查找数据--> 血缘信息 相关的问题,需要解答一下 1.血缘信息的上下游表的相关信息,多久会更新? 2.在查一些表的上游表时,会发现有很多重复的表名,原因是什么? 3.在查一些下游表时,一些临时的表名也在下游表里出现了, 而且也出现下游表同名出现多次的情况,还有就是下游的表名是它自己本身的名字。 4.关于表的上下游表是从我们每天跑的任务里面提取出来的相关关系么?

你好,下面有几个关于数据管理-->查找数据--> 血缘信息 相关的问题,需要解答一下1.血缘信息的上下游表的相关信息,多久会更新?2.在查一些表的上游表时,会发现有很多重复的表名,原因是什么?3.在查一些下游表时,一些临时的表名也在下游表里出现了, 而且也出现下游表同名出现多次的情况,还有就是下游的表名是它自己本身的名字。4.关于表的上下游表是从我们每天跑的任务里面提取出来的相关关系么?

知与谁同

1. 我们是一家金融公司,之前人少钱少,现在随着人多了,碰到了数据管理上的难点,希望有解决方案 2. 多个数据源的ETL + 多种数据类似(时间序列,复杂对象,基本面数据等)的存储(规模上T) 3. 希望在数据获取,清洗,存储,获取一整套系统上,都有所提高。

1. 我们是一家金融公司,之前人少钱少,现在随着人多了,碰到了数据管理上的难点,希望有解决方案2. 多个数据源的ETL + 多种数据类似(时间序列,复杂对象,基本面数据等)的存储(规模上T)3. 希望在数据获取,清洗,存储,获取一整套系统上,都有所提高。

ilovelnmp

关于dms高级版与普通版的区别?

尊敬的ilove**@163.com:您的数据管理DMS高级版将于2017-04-07 00:00:00正式到期,截止目前仅剩3天。如您要继续使用,请及时续费或重新购买。【阿里云】

queencube

本来可以连接的 ,ssh连接不上服务器了

Could not connect to 'xxx.xxx.xxx.xxx' (port 22): Connection failed. 站内连接提示 因网络问题无法连接到服务器数据管理无法访问该服务器,请检查:服务器的IP和SSH端口是否填写正确?服务器防火墙是否禁止公网:120.55.177.0/24,121.43.18.0/24;私网:10.153.176.106/24,10.137.42.136/24网段访问服务器?ECS安全组是否已配置允许数据管理的网段访问服务器? 点击这里,去安全组页面给当前服务器设置120.55.177.0/24,121.43.18.0/24公网入方向的允许访问规则,或10.153.176.106/24,10.137.42.136/24私网入方向的允许访问规则。