浪潮分布式存储为广电总局打造健康新媒体监管平台

简介:

从"食物相克"到"抢盐风波",从"儿童被盗肾"到"名人被死亡",随着互联网及移动互联网的飞速发展,每一台电脑、手机都成为记录与传播新闻的机器,信息平等、人人掌握话语权,在言论渠道畅通的同时,也滋生了网络谣言。日前,浪潮AS13000入驻广电总局数据中心,对其管理数据处理系统进行扩容,成为广电总局及时发现、快速处置、掌握舆论正确传播导向的得力干将。

新媒体视听内容管理乏力,新系统上线迫在眉睫

新媒体作为如今最活跃的社交、舆论阵地,在给人们带来便利、消弭信息鸿沟的同时,也滋生了一些带有误导性、煽动性的不当舆论和网络谣言。新媒体的传播方式、传播载体、以及传播出去的信息都呈碎片化,并且具有原子核裂变的扩张能量,这给管理工作带来了很大难度,其中视听节目的管理工作更加成为当务之急。

视听节目具有更直观、更具感染力和冲击力等特点,利用影视剧等形式进行的不当舆论传播,其隐蔽性、危害性更强。因此,国家新闻出版广电总局监测数据处理中心(以下简称数据中心)急需建设功能强大、覆盖全面、反应灵敏的视听新媒体管理系统,确保及时对固定互联网、移动互联网等各方面的视听新媒体内容进行管理。

浪潮分布式存储为广电总局打造健康新媒体监管平台

互联网视听节目管理工作刻不容缓

存储性能和容量均遇到瓶颈

广电媒体行业的音视频存储文件格式不同、大小不一,对文件存储的性能、并发能力,以及音视频文件的分析处理能力都提出了很高要求。随着承载业务的逐渐增多,系统需要对多路视频码流并行实时存储,高速处理各类海量数据,而且对硬件设备运行状态进行实时跟踪和动态管理这些都使得存储性能成为了瓶颈,为了使视听新媒体内容管理系统能够在数据中心原有管理系统上迅速启动,需要对数据处理系统进行扩容,将系统整体存储可用容量从原有的约200TB提升至约500TB,增加面向对象的存储节点(OSD)及NAS服务接口节点,以便高效处理多路数据,并对数据进行集中管理,从而释放带宽、提高性能、降低总拥有成本。

原有业务不容有失

在全方位升级系统的同时,还要考虑到如何更好地保护数据中心之前的技术投资。数据中心原有系统仍处于线上环境,在为系统扩容时要保障网络管理工作的正常运行,"业务不中断"成为系统扩容的技术挑战,这不仅对实施方案的完整性及细节处理要求极高,同时对实施现场的团队也是一种考验,技术人员必须具备丰富的实际操作经验和良好心态,才能够在出现意外情况时快速定位并解决问题,保障业务正常上线。

量身打造技术能力,全面提升管理手段

针对此次项目需求,浪潮推荐了AS13000分布式存储系统,为广电总局数据处理中心进行扩容。

浪潮分布式存储为广电总局打造健康新媒体监管平台

AS13000在视频领域有着较广泛的应用,是业界首个支持6层4K超高清视频编辑的分布式NAS媒体存储解决方案,系统支持5000个节点的扩展、480PB海量存储空间,超高的性能和可靠的数据自动修复机制,满足视频监控、广电媒资行业的PB级数据的存储需求。

大、小兼顾,并行处理海量数据

AS13000的海量数据并行处理技术是为媒体行业量身打造的技术包,针对视频广电多媒体行业中的多路文件IO性能进行优化设计,可通过应用感知预读取算法智能识别多种文件格式,优化并发和大、小文件的处理能力,支持各种类型视频节目的制、播、存、编,同时具备多通道带宽优化、磁盘布局优化功能,提升读取性能,满足广电总局在不同场景中多人同时审看视听内容的需求,广泛支持体育、新闻、影视剧、娱乐节目等各类型视频节目制作的存储,显著提升数据中心内容管理工作效率;

统一管理,突破容量、性能限制

针对广电行业数据量几何级增长的特性,AS13000可以突破传统存储物理机架和模块在性能、容量、容灾能力等方面的限制,可扩展的系统结构利用多台存储设备分担数据的并发访问负荷,利用一台控制设备进行统一调度和管理,提高系统的可靠性、可用性及存取效率,并且便于管理,增加了操作人员管理和维护的便捷性,简化系统维护的难度和工作量。

完美兼容,保障业务不中断

广电总局数据中心原有的管理数据处理系统采用AS13000-M3分布式产品进行建设,在本次方案中,浪潮依然采用AS13000分布式存储系统对其视频及码流进行数据保存,做到完美兼容、灵活扩展,实现与原有系统节点间的故障自动切换和负载均衡。AS13000可将数据通过视频码流服务器与万兆传输网络写入存储,存储内部也采用万兆网络进行互联,保证数据高速互通;面对"业务不中断"的挑战,AS13000的全冗余组网机制在任一数据服务或应用主机发生故障的情况下仍可保证数据存取不中断,扩展容量及带宽时仅需在集群中增加相应节点,无需暂停业务,保障广电总局的管理工作持续运行。

广电总局监测数据处理中心相关负责人表示,浪潮AS13000分布式存储在本次项目中实现了三大突破:突破原有存储瓶颈,满足了业务连续性的要求;利用各种监控及报警信息提前为数据保驾护航,带来更高的数据保护能力;提升了对新媒体视听节目的管理能力,对于高并发的海量内容管理提供了可靠高效的保障。通过该平台的建设,广电总局实现了管理数据的统一管理,保护了硬件资源投资,也为后续管理业务打下了坚实的技术基础,从而进一步促进新媒体的健康发展。


原文发布时间为:2016年12月6日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
引领企业未来数字基础架构浪潮,中国铁塔探索超大规模分布式算力
引领企业未来数字基础架构浪潮,中国铁塔探索超大规模分布式算力
132 14
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
121 0
分布式爬虫框架Scrapy-Redis实战指南
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
本文介绍了从单机锁到分布式锁的演变,重点探讨了使用Redis实现分布式锁的方法。分布式锁用于控制分布式系统中多个实例对共享资源的同步访问,需满足互斥性、可重入性、锁超时防死锁和锁释放正确防误删等特性。文章通过具体示例展示了如何利用Redis的`setnx`命令实现加锁,并分析了简化版分布式锁存在的问题,如锁超时和误删。为了解决这些问题,文中提出了设置锁过期时间和在解锁前验证持有锁的线程身份的优化方案。最后指出,尽管当前设计已解决部分问题,但仍存在进一步优化的空间,将在后续章节继续探讨。
540 131
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
|
2月前
|
Springboot使用Redis实现分布式锁
通过这些步骤和示例,您可以系统地了解如何在Spring Boot中使用Redis实现分布式锁,并在实际项目中应用。希望这些内容对您的学习和工作有所帮助。
229 83
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁如何实现 ?
Redis分布式锁主要依靠一个SETNX指令实现的 , 这条命令的含义就是“SET if Not Exists”,即不存在的时候才会设置值。 只有在key不存在的情况下,将键key的值设置为value。如果key已经存在,则SETNX命令不做任何操作。 这个命令的返回值如下。 ● 命令在设置成功时返回1。 ● 命令在设置失败时返回0。 假设此时有线程A和线程B同时访问临界区代码,假设线程A首先执行了SETNX命令,并返回结果1,继续向下执行。而此时线程B再次执行SETNX命令时,返回的结果为0,则线程B不能继续向下执行。只有当线程A执行DELETE命令将设置的锁状态删除时,线程B才会成功执行S
【📕分布式锁通关指南 03】通过Lua脚本保证redis操作的原子性
本文介绍了如何通过Lua脚本在Redis中实现分布式锁的原子性操作,避免并发问题。首先讲解了Lua脚本的基本概念及其在Redis中的使用方法,包括通过`eval`指令执行Lua脚本和通过`script load`指令缓存脚本。接着详细展示了如何用Lua脚本实现加锁、解锁及可重入锁的功能,确保同一线程可以多次获取锁而不发生死锁。最后,通过代码示例演示了如何在实际业务中调用这些Lua脚本,确保锁操作的原子性和安全性。
147 6
【📕分布式锁通关指南 03】通过Lua脚本保证redis操作的原子性
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
159 6
Redis,分布式缓存演化之路

热门文章

最新文章

下一篇
oss创建bucket