大数据情报第二期(2018-6-19)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:

《京东构建了全球最大的Kubernetes集群,没有之一》在 JDOS 1.0 中,因为容器更多的是以胖容器的形式存在,因此容器的使用相对来说是静态的,也就是一次调度完成后容器不会轻易迁移。除非节点故障、维护等特殊情况,则将其迁移到别的节点。而在 JDOS 2.0 中,情况就变得更为复杂了。JDOS 2.0 允许用户自动或者手动地进行应用的扩容缩容。并且,由于大数据、AI、serverless 等任务的引入,平台在将其与业务容器进行混合部署的同时,也需要具备对相关任务进行实时监控和异常驱逐的能力。而这些,对于调度平台的动态处理能力、时间规划能力都提出了更高的要求。接下来,我们将用一系列的文章,深入解剖阿基米德调度平台。

《阿里云弹性计算Apsara Block Storage正式发布,构建企业级分布式块存储服务平台》 6月13日,阿里云宣布弹性计算Apsara Block Storage产品正式发布,为企业级客户量身打造,构建高性能、弹性、可靠的大规模分布式块存储服务平台。 Apsara Block Storage可兼容多种类型的计算平台,包括阿里云ECS、ZStack、OpenStack、Kubernetes以及物理服务器等不同类型,帮助客户轻松应对云时代下海量存储资源的敏捷存取需求,适用于政府、金融、运营商和大型制造企业的线下数据中心云存储业务场景。

《MySQL现在已经正式支持文档存储》Oracle已经发布了他们的开源关系数据库管理系统MySQL 8。这个版本引入了许多改进,最受关注的可能是基于文档的存储,开发人员可以在同一个数据库中使用传统关系数据和“NoSQL”文档数据。该版本还提升了性能,增强了安全性,并改变了默认字符集以促进“移动优先”开发。

《刚刚,谷歌宣布5.5亿美元投资京东,将获超2700万股京东股票》谷歌和JD计划就一系列战略举措开展合作,包括在包括东南亚,美国和欧洲在内的世界各地区共同开发零售解决方案。通过运用JD的供应链和物流专业知识以及Google的技术优势,两家公司的目标是探索创建下一代零售基础设施解决方案,其目标是提供有用的,个性化和无摩擦的购物体验。

《如何防止密码被硬编码到代码中?Yelp开源了自己的解决方案》近日,美国的「大众点评」公司 Yelp 宣布正式开源其密码检测框架,该框架用于防止代码中的密码等相关敏感信息被提交到代码库中,它号称可以在保证安全性的同时不会给开发者的生产力带来任何影响。

《Facebook 开源其调试平台 Sonar,支持 Android 与 iOS》Sonar 是一个用于调试 iOS 和 Android 移动应用的平台,通过一个简单的界面,开发者可以可视化地审查和控制其 APP,除了可以直接使用,Sonar 还支持使用插件 API 进行扩展。三年前 Facebook 已经开源过一款基于 Chrome 开发者工具的 Android 调试桥 Stetho,此次发布的 Sonar 比之更加先进,主要体现在跨平台、更丰富的用户体验,以及最主要的可扩展性,官方建议开发者使用 Sonar 替代 Stetho。

《Quick Recovery Time with SQL Data Warehouse using User-Defined Restore Points》We are excited to announce that SQL Data Warehouse (SQL DW) now supports User-Defined Restore Points! SQL DW is a flexible and secure analytics platform for the enterprise optimized for running complex queries fast across petabytes of data.

《SmartHotel360 Microservices on Azure Kubernetes Service》During the Build 2018 keynote, Scott Hanselman, with help from Scott Guthrie, showed developers the new features available in Azure Kubernetes Service (AKS) and Azure Dev Spaces. To help you learn how to deploy microservices written in any framework to AKS we've updated the SmartHotel360 back-end microservices source code and deployment process to optimize it for AKS. You can clone, fork, or download the AKS and Azure Dev Spaces demo on GitHub.

《Introducing Cloud Dataflow’s new Streaming Engine》Many of our customers benefit from the design principle of separating compute from state storage used by Google in several Big Data services such as BigQuery and, most recently, in batch Cloud Dataflow pipelines using the Dataflow Shuffle. Today, we are launching Cloud Dataflow Streaming Engine in beta, to apply the same principle to streaming pipelines.

《New – Redis 4.0 Compatibility in Amazon ElastiCache》Amazon ElastiCache makes it easy for you to set up a fully managed in-memory data store and cache with Redis or Memcached. Today we’re pleased to launch compatibility with Redis 4.0 in ElastiCache. You can now launch Redis 4.0 compatible ElastiCache nodes or clusters, in all commercial AWS regions. ElastiCache Redis clusters can scale to terabytes of memory and millions of reads / writes per second to serve the most demanding needs of games, IoT devices, financial applications, and web applications.

《EKS vs. ECS: orchestrating containers on AWS》AWS announced Kubernetes-as-a-Service at re:Invent in November 2017: Elastic Container Service for Kubernetes (EKS). Since yesterday, EKS is generally available. I discussed ECS vs. Kubernetes before EKS was a thing. Therefore, I’d like to take a second attempt and compare EKS with ECS.

《AWS CloudTrail Event History Now Includes All Management Events》Starting today, AWS CloudTrail’s event history will automatically log all read and write management events for supported AWS services. Event history lets you view, filter, and download your recent AWS account activity. This new release allows you to gain additional visibility into your account actions taken over the past 90 days without setting up a trail.

《Amazon API Gateway Supports Private APIs》You can now create Private APIs in Amazon API Gateway. Private APIs can only be accessed from within your Amazon Virtual Private Cloud (VPC) using VPC Endpoints.

《Amazon MQ Now Supports AWS CloudFormation》Starting today you can provision Amazon MQ message brokers using AWS CloudFormation. Amazon MQ is a managed message broker service for Apache ActiveMQ. AWS CloudFormation automates the process of creating and managing Amazon MQ message brokers.

《为什么云计算服务是亚马逊先做出来?》最本质的一点,是深入到公司DNA中务实的文化,而DNA的形成发展,来自于残酷的发展环境。其次,有了文化的铺垫,依然不是所有人都可以玩云服务的,在最开始的时候,Amazon搞得开,搞得快。需要有软硬资源上的前提。最后,我想强调一点,在云服务萌芽以后,需要保持亲民才能持续发展。

《Thanos:实现支持无限数据存储的可伸缩Prometheus》Improbable部署了一个大型的Prometheus来监控他们的几十个Kubernetes集群。默认的Prometheus设置在查询历史数据、通过单个API调用进行跨分布式Prometheus服务器查询以及合并多个Prometheus数据方面存在困难。

《Netflix开源新作:大数据发现服务框架Metacat》很多大公司都拥有大量的数据源,它们的数据格式不尽相同,而且体量巨大。在Netflix,我们的数据仓库由很多大型的数据集组成,这些数据存储在Amazon S3、Druid、Elasticsearch、Redshift、Snowflake和MySql中。我们的平台支持Spark、Presto、Pig和Hive,我们用它们来消费、处理和生成数据集。因为数据源的多样性,为了确保我们的数据平台能够横跨这些数据集成为一个“单一”的数据仓库,我们开发了Metacat。Metacat是一种元数据服务,方便我们发现、处理和管理数据。

《New – Pay-per-Session Pricing for Amazon QuickSight, Another Region, and Lots More》Amazon QuickSight is a fully managed cloud business intelligence system that gives you Fast & Easy to Use Business Analytics for Big Data. QuickSight makes business analytics available to organizations of all shapes and sizes, with the ability to access data that is stored in your Amazon Redshift data warehouse, your Amazon Relational Database Service (RDS) relational databases, flat files in S3, and (via connectors) data stored in on-premises MySQL, PostgreSQL, and SQL Server databases. QuickSight scales to accommodate tens, hundreds, or thousands of users per organization.

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
SQL Web App开发 大数据
大数据情报第四期(2018-07-16)
《使用Kafka Streams构建事件溯源系统的经验分享》近期在乌克兰基辅举行的JEEConf大会上,Amitay Horwitz介绍了他的团队是如何实现一个事件溯源的发票系统、系统两年半生产环境运行期间所遇到的挑战,以及团队是如何使用Kafka Streams实现新的设计。
1522 0
|
大数据 Apache 数据库
大数据情报第三期(2018-07-02)
《OpenAI Dota2 5v5模式击败人类,AI每天训练量抵人类180年》今天凌晨,OpenAI通过官方博客宣布了其在Dota对抗上的新进展——由五个神经网络组成的团战AI团队,在5v5中击败了业余人类玩家,并表示,将有望挑战顶级专业团队。
1456 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
46 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
31 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0