云计算时代 企业要如何迎接大数据?

简介:

本文讲的是云计算时代 企业要如何迎接大数据,随着云计算的落地,“大数据”已成为业界讨论最广泛的关键词之一,很多企业已经在寻找合适的BI工具来处理不同来源收集到的大数据,但尽管大家对于大数据的意识在提高,但只有少部分的企业如谷歌和Facebook这样的企业才能够真正利用大数据挖掘企业商业价值。

  其实随着大数据时代的来临,企业对于大数据的理解不应仅限于对Apache Hadoop这样的基础技术的了解,企业应该要从基础设施角度来了解和保护企业拥有的大数据。因为在未来3到5年,我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距,真正能够利用好大数据的企业必然具备强劲有力的竞争优势,从而成为行业的大佬。

  事实上,目前很多企业都已经开始关注大数据,厂商也开始大肆介绍自己的大数据产品,相关会议持续不断,这也让我们看到大数据知识普及的成功,但这只是从思想工作角度来看的,当我们寻找那些真正能挖掘大数据商业价值的企业时,几乎寥寥无几,所以就目前来看,大数据价值的挖掘还只是处于初级阶段。

  未来真正能够在大数据中挖到第一桶金的必然是像Facebook和Google这样的企业,他们在数据管理和数据开采方面具备先天的优势,所以有理由相信他们将会引领这个大数据时代。除了他们,其他要想在大数据时代引领前端的企业必定是那些行业里的领导者,因为他们有提早布局以此建立行业标准的野心。

  大数据的角色

  大数据在IT领域到底扮演着什么样的角色呢?举个例子来说说这个问题吧。例如,制药企业如果想要进入制药行业的100强,那么他就必须要抓取上百万个相关网页的数据,然后进行分析、擦除无用信息最后才能找到有价值的信息。对于一个汽车制造商来说,它需要实时手机那些驾驶在道路上的汽车的信息。

  尽管企业已经意识到大数据的机制,但却不知道如何才能从中挖掘到商业价值。大数据就像是一个深入大海底部的大鱼网,有的金枪鱼、大白鲨等精品,但同时也有虾米、贝壳等价值低的便宜货。而我们的企业是大小通吃的,这样庞大的数据如何挖掘价值也就成为了一个头疼的难题。

  大数据里的语义数据模型

  大数据的数据很大一部分属于非结构化数据,包括语音、视频、图片、文档、论坛、网页等,如何才能轻松的操作这些数据呢?建立一个语义数据层是一个很不错的方法,你可以从中提取可用数据在数据库之上建立一个数据语义模型层,以此来帮助你理解地下所有的信息。

  从不同来源收集到数据之后,企业要将其放置在一起,然后开始分析、处理这些数据。传统的做法是建立一个数据仓库,将这些收集到的数据提取到建立好的数据仓库中并生成报告。但这是一个相当耗时的过程,而且还无法灵活进行,每次你要做修改,都必须要回到数据仓库去做修改,相当的头疼。

  大数据的数据容量是如此庞大,我们需要处理一大堆相关信息,这些信息来源都不同。不同的人对同一个东西的描述也都不一样,语义技术就能够帮助判断出这些叫法是否讲的是同一个事物。例如,有人会叫IBM为“IBM”,有人则称其为“International Business Machines”,其实说的都是一个公司,其实计算机是很笨的,只有通过这个语义数据模型层就能进行很好的判断。

  大数据里的风险管理

  在数据管理的时候,将所有数据放在一个地方是有很大的风险的,为了数据的安全,数据应该存储不同的地方。如数值数据可以存储在数据库里,非结构化的数据则可以存储在文档或者表格里。我们看到,增加了这些不同来源的风险信息的语义描述,意味着我们可以迅速了解综合风险状况。

  通过语义数据模型一个最大的好处就是,在进行修改时,无需回到数据最底层进行修改,去重写遗留系统和数据库语义。因为这个语义数据模型是在数据之上的,它的破坏性远小于其他的技术,只要我们为一个来源的数据提供一个语义定义,我们就可以直接应用到其他来源的数据之上。

  其实这个技术并不是为程序员或是数据库管理人员设计的,而是为业务人员设计。业务人员他需要明白这些数据对他而言是何意义,他看不懂最底层的数据表格,他希望能够直观的看到一段时间内销售量与其他因素的关系,而这些只有通过我们的语义数据模型层才能做到。近几年,IT部门与业务部门的界限其实开始渐渐模糊,业务部门能够更好的明确自己的需求,而IT部门也能更好的满足业务部门的需求,虽然还没达到最佳的状态,但已经超着这个方向在努力了。

  大数据的安全问题

  对于收集到的数据的访问需求,也以为这企业需要保证这些数据的安全性。

  很多企业在数据安全方面犯的最大错误就是做完架构、设计、开发等所有工作之后,才开始考虑安全问题,这是非常大的错误。所以实数据安全性应该从开始之初就要考虑安全架构问题。

  安全架构的搭建只是一个方面,为了保证数据的安全,建议企业将数据切片进行存储。因为这样能够做到更精确的控制。其实每一块的数据都是企业的资产,在这里可以设置公司员工对于这个数据资产的权限,如查看、修改、删除等权限。当然还要对这些数据进行加密,这样一来,就算有人侵入数据库盗用了这个部分的数据,我们还是比较安全的,因为无上下文的数据对于窃取者来说并无多大意义,因为大数据的价值密度很低。

  在这里不得不提到“'toxic data”,这个词是Forrester提出的,主要指的是企业手中“毒数据”。举个例子解释一下,大家可以想象一下无线公司收集到的数据,其中包括登录到信号塔的用户信息,用户在线时间、用户使用的数据,他们的地理位置是否移动等,企业通过这些数据可以进行用户行为分析,但与此同时,公司还能收集到用户的信用卡密码、社交网站的密码、购买习惯等用户私人信息。

  这些数据应该说是具有相当大的价值,为何又称为“毒数据”呢?因为一旦这些数据流出落入非法份子手上,势必对企业和个人造成巨大的损失。

  世界是很公平的,收入与风险是成正比。但为了降低风险,这时对数据的加密就变得尤为的关键。

  谈到大数据,最基本的做法是使用透明数据加密法——那就是对所有捕获到的数据都进行加密。这样能保证企业的所有数据都是经过加密的。过去,考虑到成本问题,很多企业都不愿意这么做,但现在有很多开源的加密方法可供企业进行选择。

原文发布时间为:2012-04-06

本文作者:     刘亚琼 

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
29天前
|
人工智能 弹性计算 运维
云上创新丨云计算,如何从IT战略上升为企业核心战略?
云计算在中国发展十余年,越来越多行业开始用云,与此同时,云计算也已从企业IT战略上升为企业核心战略。未来,云计算一定是企业和开发者的首选,技术创新也一定优先诞生在云上。
云上创新丨云计算,如何从IT战略上升为企业核心战略?
|
2月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
187 0
|
4天前
|
分布式计算 API 云计算
|
8天前
|
存储 边缘计算 人工智能
云计算:重塑企业计算模式的变革力量
云计算是企业计算模式的重要变革,提供IaaS、PaaS和SaaS服务,实现灵活、可扩展的资源获取。其优势包括可扩展性、成本效益、灵活性和效率提升,但也面临安全、依赖性等挑战。未来趋势包括边缘计算、混合云、AI融合及更强的数据安全监管。企业应适应云计算发展,制定相应策略。
|
9天前
|
供应链 Cloud Native 安全
云计算:释放企业潜力的新引擎
云计算重塑企业运营,通过互联网提供弹性可扩展的计算与存储资源,降低运营成本,加速创新。其优势在于弹性扩展、高效便捷及成本节约。企业应制定云战略,选对云服务,注重数据安全,开发云原生应用。案例显示,云计算助零售企业统一平台,优化供应链,加速产品上市,保障数据安全,是企业数字化转型的关键。
|
16天前
|
存储 人工智能 文件存储
阿里云吴结生:云计算是企业实现数智化的阶梯
文章背景:阿里云副总裁、阿里云云存储产品线负责人吴结生在云栖大会的演讲中表示:“从云的角度来看,云的存力、算力,云上提供的数据管理的能力,大数据分析能力和人工智能计算能力,帮助每家企业从数据公司演进到数据驱动的公司。因此云计算是企业实现数智化的阶梯。”
|
2月前
|
存储 大数据 数据挖掘
python数据分析——大数据和云计算
大数据和云计算作为当代信息技术的两大核心驱动力,正在以前所未有的速度改变着我们的生活、工作和思维方式。它们不仅为各行各业的创新提供了强大的技术支持,更是推动了整个社会的数字化转型。 从大数据的角度来看,它的核心价值在于通过对海量数据的收集、存储、分析和挖掘,发现其中的关联性和趋势,从而为决策提供更为科学、精准的依据。无论是商业领域的市场预测、消费者行为分析,还是公共服务领域的城市规划、交通管理,大数据都发挥着不可或缺的作用。同时,随着物联网、传感器等技术的普及,大数据的来源和种类也在不断扩展,这使得我们能够更全面地认识世界,把握规律。
52 0
|
3月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
59 0
|
5月前
|
资源调度 分布式计算 大数据
【云计算与大数据技术】资源管理、调度模型策略的讲解
【云计算与大数据技术】资源管理、调度模型策略的讲解
120 0
|
9天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。