马云爸爸“翻译情未了”? 回顾阿里翻译平台的进击之路!

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介:

雷锋网AI科技评论按:在百度翻译,谷歌翻译几乎要霸占整个机器翻译市场时,阿里翻译宣布已成功研发阿里云PAI工具,基于阿里云PAI可以将神经网络翻译训练效率提升5倍,这将大大加速阿里翻译平台的建设。希望阿里翻译以后也能走进我们的生活中。

众所周知,马云爸爸在创立阿里之前是做翻译服务及开翻译公司的。随着近几年阿里的业务不断扩大,全球化战略进程加速,语言问题也成了最基础的需求之一,尤其是跨境电商交易对多语言翻译需求尤甚。此前阿里在语言服务上做过不少努力,包括收购国内最大的人工翻译平台,但这远远不能满足阿里平台上亿级别客户的需求。正当阿里为此感到苦闷时,谷歌的神经网络翻译技术出现了,可以说是为阿里的翻译平台插上了一对翅膀。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

早在2015年6月份,阿里就已收购国内最大的众包翻译平台——365翻译。当时把阿里翻译平台定位为阿里巴巴的语言服务平台,将瞄准人机结合模式,在语言服务领域进行更多创新。365翻译的加入确实为阿里的跨境电商领域分担了一些翻译业务上的压力。并且在机器翻译领域,和电商相关的几个主要语种中,其翻译的准确率基本和谷歌翻译持平。然而,阿里语言服务平台的野心并不止于此。他们想借助强大的人工翻译团队和电商大数据研发下一代基于神经网络技术的翻译平台。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

神经网络翻译技术是一种用于自动翻译的端到端的学习方法,该方法能够克服传统的基于短语的翻译系统的缺点,可以将整个输入句子视作翻译的基本单元。从2016年以来的学术界顶级会议上,几乎全是围绕NMT相关的创新工作,之后谷歌、微软等巨头公司相继发布NMT系统。

阿里翻译团队也紧紧抓住这一机会于2016年10月起正式开始自主研发NMT模型,2016年11月首次将NMT系统的输出结果应用在中英消息通讯场景下的外部评测中并取得了不错的成绩,翻译质量有了大幅度提升。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

但是,由于NMT(神经网络机器翻译)模型的结构复杂,且深度神经网络模型本身的训练过程一般又会涉及很大量的计算,因此NMT系统往往需要较长的训练周期,例如,使用3000万的训练数据在单块GPU卡上一般需要训练20天以上,才能得到一个初步可用的模型。

基于上述问题,2017年2月初开始,阿里翻译团队和阿里云Large Scale Learning(大规模学习)的穆琢团队合作,共同开发支持分布式训练的NMT系统,并于2017年3月底完成了第一个版本的分布式NMT系统。

在2017年4月份的英俄电商翻译质量优化项目中,分布式NMT系统大大提高了训练速度,使模型训练时间从20天缩短到了4天,为项目整体迭代和推进节省了很多时间成本。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

图:使用不同卡数时,在中英100万训练语料上获得的收敛加速比

PAI是阿里推出全球化战略“NASA”计划后发布的首个重磅工具,可以完全兼容全球主流的深度学习开源框架。同时,底层提供强大的云端异构计算资源,包含CPU、GPU、FPGA。在GPU方面,可灵活实现多卡调度。

除了基于MA的分布式实现,增加GPU卡的数量,有不同的收敛加速比以外,阿里翻译项目组还尝试了其他多种分布式实现方法,也都获得了不同程度的加速效果,包括Downpour SGD、AllReduce SGD以及使用了BMUF(Blockwise Model-Update Filtering, 一种针对Model Average方法的改进方案)策略的Model Average方法。下图中显示,在硬件条件相同,BMUF的收敛效果要比MA(黄色柱状)分布式要好。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

阿里方面还表示:上一阶段工作主要集中在模型训练阶段的加速策略上,接下来的工作主要分为两方面:一方面是继续挖掘分布式训练的加速潜力,通过系统与算法相结合的优化策略,最大化利用硬件资源,提升收敛加速比,并将分布式优化策略和算法模型本身解耦,实现复杂深度学习模型分布式加速功能的组件化和通用化。

另一方面,需要在现有的服务化方案的基础上,进一步通过模型精度压缩、网络结构简化等方式,在保证模型效果的同时,提高解码速度,降低线上延时,进而增强线上服务能力,节约服务化所需的硬件成本。

阿里云PAI工具使阿里翻译平台的神经网络翻译训练效率提升5倍,确实非常厉害。这将大大加速阿里翻译平台建设之路。正当雷锋网(公众号:雷锋网)编辑想对阿里的翻译质量来一个评测对比,点击阿里翻译平台官网:www.alifanyi.com 却发现功能还未对外开放。

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

后来雷锋网了解到:阿里翻译团队还在破解线上服务处理延时的难题,平台目前还在内测阶段。不过雷锋网编辑还是发现了一个能使用阿里翻译界面的网站。现在就来对百度翻译,谷歌翻译,阿里翻译做一个简单的汉译英测试。

百度翻译:

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

谷歌翻译:

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

阿里翻译:

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

为了能使阿里翻译体现出自己拥有电商大数据的优势,特别选了一句跨境电商领域的句子:自有产品,经营主体自行生产或自有品牌的产品,以及外部采购以自己名义进行销售的产品。从翻译结果对比来看,阿里翻译似乎比百度和谷歌的翻译好一点。接下里进行第二项测试,英译汉测试:

百度翻译

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

谷歌翻译

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

阿里翻译

马云爸爸翻译情未了? 回顾阿里翻译平台的进击之路!

这次阿里翻译似乎表现的不太好,表现最好的是百度翻译。不过从一些关键词的翻译还是能体现出阿里翻译的特色,比如:jurisdiction,翻译为“法域”;buyer和seller翻译为买家和卖家。可以猜测阿里翻译在跨境电商等类似的特定场景下会表现的更好。总的来说,阿里翻译的汉译英表现还不错,但在英译汉的情况下表现的没有谷歌翻译和百度翻译好。

阿里翻译现在还没上线,但凭借自己拥有海量的电商跨境交易数据和强大的365人工翻译团队,再加上阿里云PAI工具对神经网路翻译训练效率的提升,相信不久后阿里翻译会有一个质的飞跃,在机器翻译领域占取一定的市场份额也不是没有可能的。希望阿里翻译平台开放后能给用户一个惊喜。

据雷锋网了解:在阿里巴巴内部,PAI已经被广泛使用。淘宝搜索使用PAI的参数服务器,可以把百亿个特征的模型,分散到数十个乃至于上百个参数服务器上,打破规模瓶颈。最终实现搜索结果基于商品和用户的特征进行排序。现在,阿里翻译团队还在破解线上服务处理延时的难题,为神经网络机器翻译模型的大规模应用扫除最后障碍。

via雷锋网

本文作者:杨文

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
11月前
510特辑 | 读懂阿里日,也就读懂了阿里
510特辑 | 读懂阿里日,也就读懂了阿里
237 0
|
1月前
|
云计算 开发者
分享那些在云发生的奇妙故事 ~~ 征文挑战赛来啦!
在数字化转型的大潮下,云计算已深度渗透各行各业,成为企业创新和发展的关键驱动力。本栏目旨在通过全面挖掘并生动展现“客户如何用好云”的实战历程,深入剖析行业痛点解决之道,以鲜活的案例故事呈现云计算带来的价值。
|
3月前
|
人工智能 搜索推荐 开发者
社区供稿 | 大模型恋爱神器!16种MBTI自由定制,北大ChatLaw团队出品
北大团队新作,让大模型拥有个性!而且还是自定义那种,16种MBTI都能选。
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
清华教授欧智坚专访,深度剖析ChatGPT的光环背后及未来挑战!(2)
清华教授欧智坚专访,深度剖析ChatGPT的光环背后及未来挑战!
|
11月前
|
机器学习/深度学习 存储 人工智能
清华教授欧智坚专访,深度剖析ChatGPT的光环背后及未来挑战!(1)
清华教授欧智坚专访,深度剖析ChatGPT的光环背后及未来挑战!
106 0
|
设计模式 算法 网络协议
2020年是意义非凡的一年,大专的我面试阿里P6居然过了
导语 学历永远是横在我们进人大厂的一道门槛,好像无论怎么努力,总能被那些985,211 按在地上摩擦! 不仅要被“他们”看不起,在HR挑选简历,学历这块就直接被刷下去了,连证明自己的机会也没有,学历真的这么重要吗?
2020年是意义非凡的一年,大专的我面试阿里P6居然过了
|
存储 弹性计算 运维
介绍几本阿里人写的书
再过一周就是读书节,分享几本阿里人写的书,希望对大家选书、读书有一定的帮助。
1325 0
介绍几本阿里人写的书
|
存储 人工智能 移动开发
流利说联手新华智云, AI老师带大家重温英语第一课
H5还用到了当下最火的人工智能(AI)技术。通过重温第一节英语课的那段青涩时光,念出那些经典的英文对白,类似“How are you”、“Nice to meetyou”,测试自己的英语音色和明星大咖们的相似度,非常有趣。这背后,其中使用的语音识别、打分技术,正是来自一家人工智能教育科技公司——流利说。
149 0
流利说联手新华智云, AI老师带大家重温英语第一课
|
开发者 小程序
阿里巴巴小程序繁星计划 9月27日有话要说
2019年9月27日,阿里巴巴小程序繁星计划峰会将于杭州云栖小镇召开。本次峰会将围绕如何更好地赋能生态,帮助ISV、企业、开发者降低开发门槛、寻找更多商机和用户转化等话题全面展开。悄悄地告诉你,现场还有彩蛋哦~
5102 0
|
Web App开发 Ubuntu Java
【云周刊】第199期:三周年专辑-阿里毕玄:程序员的成长路线
本期头条 三周年专辑-阿里毕玄:程序员的成长路线 2018年12月20日,云栖社区3周岁生日。阿里巴巴常说“晴天修屋顶”,所以我们特别策划了这个专辑——分享给开发者们20个阿里故事,50本书籍。第一位是林昊(毕玄)。
4046 0