大数据 数据采集技术

阿里云 > 云栖社区> 主题地图> D> 大数据 数据采集技术

大数据 数据采集技术 相关的博客

解读“大数据”：大数据的采集

俗话说：巧妇难为无米之炊。大数据要得以广泛应用，挖据蕴含其中的价值，第一步就是需要采集数据。而数据采集的完整性、准确性，则决定了数据应用是否真实可靠。 在大数据时代，数据采集一般来说有三个特点：一是数据采集以自动化手段为主，尽量摆脱人工录入的方式;二是采集内容
玄学酱 7年前 924

干货丨大数据系统数据采集产品的架构分析

任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数据处理 数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括： 数据源多种多样 数据量大，变化快 如何保证
知与谁同 7年前 1356

数道云解析：基于Hadoop集群环境的数据采集和舆情监测技术分析，Hadoop在大数据平台搭建中扮演着何种角色？

hadoop核心技术以及框架搭建，基于**Hadoop大数据**如何实现数据采集，舆情监测？ 互联网大数据时代，海量**数据采集**、**数据分析**、**舆情监测**愈来愈最重要。如何从互联网如此大集群数据中提取出有价值的数据也是网络资源实现其价值的重要基
sdydata 5年前 974

政企如何选择Apache Hadoop分布式数据采集软件？ 武汉大数据产品价值

AI、人工智能、大数据已经成为时代的热门词，无论是企业还是政府单位都对大数据有了进一步的深刻认识，2019年的两会，大数据的发展也成为热点话题。今天，小编就来具体分享一下，关于Hadoop产品的选择，以及大数据产品选择需要注意哪些？ 大数据产品选择需要注意事
sdydata 5年前 949

六大主流大数据采集平台架构分析

文章讲的是六大主流大数据采集平台架构分析，我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。 　　随着大数据越来越被重
青衫无名 7年前 7278

[连载]《大数据之路：阿里巴巴大数据实践》之日志采集

作者简介 阿里巴巴数据技术及产品部。定位于阿里集团数据中台，为阿里生态内外的业务、用户、中小企业提供全链路、全渠道的数据服务。作为阿里大数据战略的核心践行者，致力于“让大数据赋能商业，创造价值”。现在，阿里巴巴数据技术及产品部正通过技术和产品上的创新，探索全
技术小能手 7年前 5353

【数道云大数据】Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域

由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求，使国家的技术产业得到进步和发展。
sdydata 5年前 755

果断收藏！六大主流大数据采集平台架构分析

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包
知与谁同 7年前 1339

大数据 数据采集技术 相关的问答

Hadoop大数据技术在教育行业有什么具体应用呢？

Hadoop教育大数据
游客4c3lpvjn33j5i 5年前 177

求推荐国内目前性价比高的Hadoop大数据厂商？

Hadoop技术的大数据厂商
sdydata 5年前 152

企业大数据平台仓库架构建设思路【精品问答集锦】

本期请来了阿里云高级技术专家李金波（介然）直播分享企业大数据平台仓库架构建设思路 直播简介 随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。作为大数据应用的基础-数
管理贝贝 8年前 54788

国内Hadoop技术的厂商品牌，那个性价比高？

想要了解大数据产品，希望有合适的，适合政企使用的
sdydata 5年前 233

MaxCompute百问集锦（持续更新20171011）

![fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg](https://yqfile.alicdn.com/ee78085f2e6a147c3fffcc95038b11a73c609bf1.jpeg) 大数据计算服务
隐林 7年前 36996

2017杭州云栖大会FAQ（持续更新中）

![12156fde65bf58f284a27940c360e1938fd497c5_2](https://yqfile.alicdn.com/147948a5b3046988eabbe95995ca8d8ec8a47822.png) 2017杭州云栖大会将
聚小编 7年前 21563

[@talishboy][¥20]请教关于系统架构如何合理设计问题

目前计划搭建一个能处理6000+TPS的数据采集和分析系统，平均秒入库数据量大概3000条据（单条数据4k），数据保留一周，主要业务是入库和集可数据报表查询，请问大牛我应该怎么搭建此业务系统。 1、需要采用什么技术、数据库、中间件。 2、保证业务可用，造价
晓生寒 6年前 352

相关主题

数据抽取技术 数据保护技术 数据清洗技术 数据分片技术 大数据技术 培训 大数据 技术架构 大数据处理技术 大数据关键技术 大数据核心技术 大数据主要技术 数据安全技术 数据库技术 数据存储 技术 数据分析技术 数据分析 技术 数据迁移技术 大数据平台技术架构 大数据技术培训 大数据的存储技术 大数据技术有哪些 大数据需要什么技术 大数据云计算技术 大数据应用技术 大数据需要的技术 云数据库技术 云数据存储技术 数据库技术学习 数据存储加密技术 海量数据存储技术 数据库编程技术 数据库技术基础 新数据库技术 数据库系统技术 大数据技术及数据分析培训 大数据处理技术培训 大数据存储技术有哪些 大数据技术基础知识 大数据的技术支持 数据库技术培训 数据存储技术的发展 eclipse 主机名 sql server2008导入数据库 如何架设cs1.6服务器 linux 指定ip访问 域名 sql server 数据库引擎 苹果app申请退款网站 xshell 主机密钥 outlook的exchange服务器 isapi和cgi限制 作用 python数据库开发app