备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

2019-07-29 1216
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

直播间直达链接：（回看链接）

时间

7月31日19:00

主讲人：

辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

简介：

在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
_Apache_Spark____spark_

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
存储
Apache
缓存
关键词：
钉钉计算
钉钉存储
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
阿里云E-MapReduce团队
|
缓存
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
阿里云E-MapReduce团队
1097 0
擎天xm
|
监控 物联网 机器人
钉钉机器人调用函数计算实现serverless web服务：传统门禁的简单改造，懒惰癌的福音
本文通过钉钉机器人调用函数计算实现的serverless web服务，打通物联网平台，和树莓派实时通讯。实现了将原有传统的磁吸门禁，改造成可以由钉钉来控制开门的简单应用。
擎天xm
2839 0
q7s2kces74wvy
|
存储 弹性计算 安全
成功案例-钉钉 | 学习笔记
快速学习 成功案例-钉钉
q7s2kces74wvy
292 0
学堂小助手
|
存储 弹性计算 安全
案例分享——钉钉|学习笔记
快速学习 案例分享——钉钉
学堂小助手
275 0
-编程工程师-
|
移动开发 物联网 Go
SAP Business ByDesign 和支付宝与钉钉集成的一个原型开发案例
SAP Business ByDesign 和支付宝与钉钉集成的一个原型开发案例
-编程工程师-
192 0
SAP Business ByDesign 和支付宝与钉钉集成的一个原型开发案例
码农小达人
|
移动开发 物联网 智能硬件
SAP Business ByDesign 和支付宝与钉钉集成的一个原型开发案例
SAP Business ByDesign 和支付宝与钉钉集成的一个原型开发案例
码农小达人
187 0
SAP Business ByDesign 和支付宝与钉钉集成的一个原型开发案例
创峰会-江鑫恒
|
人工智能 供应链 Cloud Native
直播回顾 | 钉钉发布会到底讲了什么？企业数字化如何转型？阿里技术最佳实践案例大披露！
最新热点直播都在这，你不了解下？
创峰会-江鑫恒
474 0
直播回顾 | 钉钉发布会到底讲了什么？企业数字化如何转型？阿里技术最佳实践案例大披露！
19号收信人
|
存储 弹性计算 监控
案例分享——钉钉
ECS第六天
19号收信人
1864 0
KDbob
|
存储 弹性计算 安全
了解成功案例-钉钉（进阶班-Day6）
钉钉使用阿里云而成功的案例主要介绍了： 1、钉钉背后的技术架构 2、使用阿里云（云计算）后为钉钉解决的问题（主要是安全可靠性） 3、钉钉
KDbob
602 0
零一魔法
|
弹性计算
钉钉案例分析-ECS七天训练营DAY06
钉钉使用的阿里云的技术包括ECS, OSS, OTS等
零一魔法
621 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 4
    HBase写性能优化
  • 5
    YARN中的CPU资源隔离-CGroups
  • 6
    E-MapReduce的HBase集群使用Hue
  • 7
    从数砖开源 Delta Lake 说起
  • 8
    E-MapReduce集群如何使用Phoenix on HBase
  • 9
    浅谈 Spark 的多语言支持
  • 10
    开源大数据周刊-第19期
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    90
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    245
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    158
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    71
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    401
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117501
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    400
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    196
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    19
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    296

    • 相关课程

    更多
  • 大数据实时计算框架Spark快速入门
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段

    • 相关电子书

    更多
  • 钉钉小程序——为工作方式插上翅膀
  • 钉钉客户端自动化的应用
  • 使命必达 —— 钉钉企业级 消息服务的机遇与挑战

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
  • 基于Flink+Tair搭建实时监控大屏

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）