东方金信专注大数据平台开发 构建智慧城市大脑

简介:

从2015年的“大数据行动纲要”到2016年的“十三五规划”,大数据都被作为重点被提及。尤其是2016年,政府提出各个省市三年之内必须上大数据业务,导致各省市政府全部都在部署与大数据相关的业务。这快速地推动了政府行业在大数据方面业务地发展。

“大数据平台其实是智慧城市大脑,政府更需要大数据,比如数据打通后,进京证可以通过手机来办理。此外,还有医挂号等事务的办理。这些都需要我们的大数据平台。”东方金信CEO王伟哲介绍道。

深挖政务领域需求

王伟哲表示:“政府部门对于政务大数据平台的需求非常强烈。我们在政府里面做的第一件事情就是建立人口库。输入姓名,你能看到该公民家族图谱,一生从出生到上学,再到结婚买房等等变化曲线。并且,你可以了解这些人有什么样不动产和动产,甚至个人、企业之间是否的关联和担保关系,都可以通过一张相似的图谱来显示。此外,在医院数据导入进来以后,医务人员可以通过此类图谱了解到病患的家族遗传病史,对病患进行相应地救治。”

据了解,从2013年成立至今,东方金信业务覆盖的行业越来越广泛。在行业比例上,金融行业客户大概占东方金信的40%左右,政府占40%左右,其他的行业大概加起来占20%左右。

王伟哲表示:“如果从一个城市对整个的大数据的投入上来说,我们的这些软件和这些数据业务占政府应用系统的比例仍然比较低,大概十分之一左右。一个城市如果充分应用大数据,一个城市的投入大概应该是在三亿元到五亿元之间。我们的软件,就是帮政府管理者整合数据,并且将报告进行前端展示。这些需要的资金大概占政府总体大数据投放的比例的10%左右,其余基本上都是硬件建设。”

建立标准打通孤岛

当下,很多数据的格式标准都不尽相同。此外,各部门之间也会由于业务不同、利益不同等诸多原因导致很多数据被束之高阁,无法有效利用。比如,在一个银行里,可能会存在几十甚至上百个不同的业务。那么如何将这些数据进行定义,形成统一的标准,使数据更方便地导入导出,进而进行分析、挖掘。

王伟哲认为:“在一些业务比较多的单位里,可能会存在几百套系统单元,数据要对接到这么多的数据平台里,非常费力。东方金信曾经为一些客户,设定了两千九百多个数据标准。”而这些标准是需要和客户进行长期沟通,共同建立的。王伟哲补充道:“我们要和业务部门去确认业务场景,以及业务数据是什么。其实数据标准其实有很多种,一种是按数据存储长度,比如身份证是十八位。而有些身份证里边有字母,这也是一种标准。身份证代表一个人的个性属性,是我的唯一标识,就是业务属性,它就是一种标准。所以,这种标准非常多。”

为此,东方金信建立了专门系统来完善制定数据标准的流程。这个系统就是按照方法论来运作的,东方金信有一套标准的流程来定义这些数据标准,数据标准的审批流程和通过流程都通过该系统来顺利完成。

“师”从谷歌专修技术

作为一家专注于大数据平台和大数据解决方案的企业,东方金信从事的就是把数据业务放在自主研发的分布式架构平台上。

分布式架构其实是由谷歌提出,谷歌有上百万台服务器。这些服务器没有采用IBM、Oracle、EMC这些知名厂商的数据库和存储设备来解决问题,而是采用了的分布式架构来解决数据问题。东方金信的核心产品脱胎于Google分布式大数据平台,专注于企业级高性能分布式大数据解决方案和云解决方案。

东方金信是一家纯技术类的公司,王伟哲介绍说,从人员比例看,公司总人数里,销售、市场、财务和人力人员总共不超过10%,其他全部从事技术研发和产品客户化研究。东方金信核心团队来自Google、美国银行、Teradata、IBM、阿里、腾讯等全球著名企业的核心数据开发人员,具有丰富的分布式研发能力和数据分析挖掘能力。

目前,东方金信的研发团队可以独立编译底层代码,优化大数据平台,并和中国科学院大学合作成立大数据研发中心,和北京交通大学合作成立铁路大数据研究中心。

王伟哲表示,公司在未来最大的愿景是“希望我们的产品能做得更好,SeaBox大数据平台整体解决方案能为更多的行业用户提供帮助,为客户带来更多的价值,将来会有更多的客户使用SeaBox大数据平台。”






原文发布时间为:2017年2月21日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
22天前
|
存储 大数据 数据处理
PHP 与大数据:构建高效数据处理系统
传统的数据处理系统往往难以应对大规模数据的处理需求,而PHP作为一种常用的服务器端脚本语言,在数据处理方面也有其独特的优势。本文将探讨如何利用PHP构建高效的大数据处理系统,结合实际案例分析其应用场景及优势所在。
15 2
|
1月前
|
人工智能 安全 算法
AI与大数据:智慧城市安全的护航者与变革引擎
AI与大数据:智慧城市安全的护航者与变革引擎
23 1
|
4月前
|
SQL Oracle 物联网
助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
助力工业物联网,工业大数据之数仓维度层DWS层构建【十二】
47 0
|
4月前
|
SQL Oracle 关系型数据库
助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】
助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】
47 0
|
4月前
|
机器学习/深度学习 SQL 监控
❤️淘宝大数据负责人建议数据开发从业者具有的3个核心能力❤️
❤️淘宝大数据负责人建议数据开发从业者具有的3个核心能力❤️
51 0
|
4月前
|
存储 物联网 大数据
助力工业物联网,工业大数据之脚本开发【五】
助力工业物联网,工业大数据之脚本开发【五】
40 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
13天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
51 1
|
21天前
|
机器学习/深度学习 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费邀测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测,统一 Python 开发生态,打破大数据及 AI 开发使用边界。
198 1
|
28天前
|
机器学习/深度学习 分布式计算 监控
大模型开发:你如何使用大数据进行模型训练?
在大数据模型训练中,关键步骤包括数据准备(收集、清洗、特征工程、划分),硬件准备(分布式计算、并行训练),模型选择与配置,训练与优化,监控评估,以及模型的持久化与部署。过程中要关注数据隐私、安全及法规遵循,利用技术进步提升效率和性能。
36 2