硅谷飘来五个字,SMACK


简介: 上次我们跟大家分享了「少打一局王者荣耀就能上手Spring Cloud?!」,学到就是赚到,翘课的同学抓紧补习了。本期为大家带来全新「与硅谷大数据工程师吃着火锅唱着歌就把SMACK入门了」篇。
上次我们跟大家分享了「 少打一局王者荣耀就能上手Spring Cloud?!」,学到就是赚到,翘课的同学抓紧补习了。本期为大家带来全新「 与硅谷大数据工程师吃着火锅唱着歌就把SMACK入门了」篇。
SMACK起源于硅谷,旨在提供更快更强的大数据处理能力。SMACK刚登上技术舞台,便将传统的数据处理能力提升了一个量级,狠狠打了hadoop等技术的老脸,从此有了一个响亮的名字SMACK。(假的)
硅谷飘来五个字,SMACK

hadoop:听说你很拽厚 !    now listen, you have free-style ?  what’s your name?
SMACK:  emmmmmmmm

那么, SMACK到底是什么?
SMACK是由Spark、Mesos、Akka、Cassandra、Kafka 5个技术名词的缩写,以Spark平台为大数据运算引擎(煤气灶)、搭配分散式资源管理平台Mesos(鸳鸯锅)、以及消息处理平台Kafka(红油锅底)、脸书和Twitter都爱用的NoSQL资料库Cassandra(食材)、再加上分散式运算工具Akka(漏勺),适用于广泛的数据处理场景的大数据框架(重庆老灶火锅)。
当然,SMACK框架中的技术可以自由增加或替换,以此完成不断升级的大数据处理需求。SMCAK云框架里,我们在引擎层增加了Flink用于处理实时数据(麻油小碗),使用Kubernetes替换Mesos作为容器层(九宫格锅)。这里以某网站数据为例,提供SMACK大数据框架的最佳实践,包括SMACK、数据接入、数据展示在内的完整框架展示。


注意,数据餐厅的火锅盛宴即将开始!

Step 1. 安装云帮PaaS平台(整体式厨房)
好雨云帮PaaS平台【免费版、自助安装】
好雨云帮PaaS平台【企业版】
  • 平台运行最小环境要求:4核CPU & 8GB 内存
  • 框架运行最小环境要求:8核CPU & 32GB 内存
Step 2.下载SMACK Dockercompose文件(外卖小火锅,配送到家的那种,懂伐)
注:这个compose文件已经包含示例数据(带锅底),如需导入自己的项目数据,请看 Step 6。
Step 3.将compose文件导入云帮平台(升锅开火)
1.找到docker-compose_ACP 文件
硅谷飘来五个字,SMACK

2.通过云帮平台启动


硅谷飘来五个字,SMACK

3.下一步…  一步….  步….
硅谷飘来五个字,SMACK

注意!这里有个组件拓扑图。

硅谷飘来五个字,SMACK

再次注意!这里需要全部开启“对外服务”(应用组组件之间互相通讯)。

硅谷飘来五个字,SMACK

又一次注意!有四个组件需要额外开启“外部访问”。
硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

3.设置完成后,点击页面下方“建立一组应用”
各组件变绿以后,表示创建成功,SMACK 为ready状态。(开锅大吉)
硅谷飘来五个字,SMACK

(我变绿了,但我也变强了)
还是注意! 接下来需要调整组件内存。(以海边的kafka为例)
(打开之前导入docker-compose_ACP文件)
190bc0ceaea373d85710b1fc247b3ababb34f18d
进行内存调整设置
硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

调整完成后,点击“设置”,系统自动调整内存。
硅谷飘来五个字,SMACK

(其他组件调整方式同kafka)

Step  4.示例数据导入(自带锅底)

1.由于每个人的口味不同,这里以Grafana为例。

2.配置SMACK云框架中的示例数据(Grafana数据源设置)
硅谷飘来五个字,SMACK

Step 5.数据展示效果(盛盘动筷)
硅谷飘来五个字,SMACK

Step 6.如何变成自己的项目(下自己的喜欢菜,让别人无菜可吃)
修改docker-compose.yml文件,找到akka-instream并添加,然后重新部署(重复 step 3-4-5,咕噜咕噜咕噜)

—————————————————客气的结束语————————————————

大数据火锅盛宴,各位吃的还满意吗? 要不要我下面.... 
下面给大家预告下第三期「两学一做,拥护基于区块链的智能合约技术」 ,预计跟最phone 8同期发布,敬请期待。
相关文章
|
5月前
|
存储 算法 编译器
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)(上)
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)
70 0
|
4天前
|
JavaScript Java 测试技术
基于Java的QQ村旅游网站的设计与实现(源码+lw+部署文档+讲解等)
基于Java的QQ村旅游网站的设计与实现(源码+lw+部署文档+讲解等)
17 0
|
4月前
|
NoSQL Java Redis
阿里P8熬了一个月肝出这份32W字Java面试手册,在Github标星31K+
互联网行业竞争越来越严峻,面试也是越来越难,一直以来我都想整理一套完美的面试宝典,奈何难抽出时间,这套1000+道的Java面试手册我整理了整整1个月,上传到Git上目前star数达到了30K+
|
5月前
|
算法 网络协议 Java
48W字?GitHub上下载量破百万的阿里:图解Java、网络、算法笔记
Java基础这个东西,无论在哪个公司都被看得尤为重要,而面试中关于基础的问题也是层出不穷。所以基础可以说是重中之重,当你的基础打牢了,其他的也就没有那么重要了。
|
5月前
|
编译器 C++ 容器
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)(中)
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)
29 0
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)(中)
|
5月前
|
编译器 对象存储 C++
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)(下)
【C++从0到王者】第三十九站:C++11(全文三万字,超详解)
28 0
|
7月前
|
Java 程序员 应用服务中间件
膜拜!首次公布Java10W字面经,Github访问量破百万
Java面试 “金九银十”这个字眼对于程序员应该是再熟悉不过的了,每年的金九银十都会有很多程序员找工作、跳槽等一系列的安排。说实话,面试中7分靠能力,3分靠技能;在刚开始的时候介绍项目都是技能中的重中之重,它也是可以决定一次面试的成败的,那么在面试的时候你会如何介绍自己、熟练回答面试官的问题以及有条理的介绍项目呢?
|
存储 运维 分布式计算
Doris 毕业成为 Apache 顶级项目,独家专访百度 PALO 团队
Doris 毕业成为 Apache 顶级项目,独家专访百度 PALO 团队
617 0
Doris 毕业成为 Apache 顶级项目,独家专访百度 PALO 团队
|
Java Android开发
全网首发:彻底解决eclipse注释汉字英文大小不等的问题
全网首发:彻底解决eclipse注释汉字英文大小不等的问题
211 0
全网首发:彻底解决eclipse注释汉字英文大小不等的问题
|
Web App开发 Java C++
它山之石-日本推广编程中使用日语命名的渊源
日本官方和民间在编程中使用日语命名的相关历史. Brief history of naming identifiers in Japanese.
862 0