Facebook如何运用机器学习进行亿级用户数据处理

技术小能手 2018-02-28

分布式 架构 算法 服务器 性能 数据处理 CPU 数据中心 带宽 facebook GPU 存储 神经网络

fcedfb0489446067ec2eaf43dab8204101fadfbf

2017年末,Facebook应用机器学习组发布最新论文,对整个Facebook的机器学习软硬件架构进行了介绍。纵览全文,我们也可以从中对Facebook各产品的机器学习策略一窥究竟。论文中涉及到机器学习在全球规模(上亿级数据处理)上的全新挑战,并给出了Facebook的应对策略和解决思路,对相关行业和研究极其有意义。

摘要

机器学习在Facebook的众多产品和服务中都有着举足轻重的地位。 本文将详细介绍Facebook在机器学习方面的软硬件基础架构,如何来满足其全球规模的运算需求。

Facebook的机器学习需求极其繁杂:需要运行大量不同的机器学习模型。这种复杂性已经深深刻在Facebook系统堆栈的所有层面上。此外,Facebook存储的所有数据,有相当大一部分会流经机器学习管道,这样的数据载荷为Facebook的分布式高性能训练



登录 后评论
下一篇
corcosa
8739人浏览
2019-10-08
相关推荐
0
0
0
2510