hadoop 日志处理
首页
博客
论坛
聚能聊
问答
直播
活动
主题
登录账号
注册账号
阿里云
>
云栖社区
>
主题地图
>
H
>
hadoop 日志处理
全部
博客
问答
免费套餐
上云实践机会
校园扶持
助力学生成长
API服务
覆盖海量行业
hadoop 日志处理 相关的博客
WOT2016黄慧攀:海量日志处理可以不用Hadoop或Spark
如今,随着云计算、移动互联网、物联网、大数据等技术的快速发展,企业逐渐认识到,数据的价值,对数据的挖掘分析能力已经成为企业的核心竞争力。对于互联网企业,最有价值的数据都蕴藏在网站的日志中。从日志中,我们可以知道网站的访问量,应用的使用量、用户的相关数据,使用偏
晚来风急
7年前
1260
【hadoop学习日志】入门资料--认识hadoop
前言 hadoop已经有很多资料了,所以在此只敢说整理,顺便分享下自己的想法。 我觉得,hadoop这东西要弄过搜索引擎方向最容易上手,对一个外行人,忽然介入,会遇到很多新概念和新理念。 如果你是第一次看到hadoop,那用这种说法来让你理解: hadoop
余二五
6年前
1408
python调用mrjob实现hadoop的mapreduce日志解析
咱们一般写mapreduce是通过java和streaming来写的,身为pythoner的我, java不会,没办法就用streaming来写mapreduce日志分析。 这里要介绍一个 模块,是基于streaming搞的东西。 mrjob 可以让用 Py
技术小胖子
6年前
1460
hadoop和Hive的数据处理流程
需求 场景:统计每日用户登陆总数 每分钟的原始日志内容如下: http://www.blue.com/uid=xxxxxx&ip=xxxxxx 假设只有两个字段,uid和ip,其中uid是用户的uid,是用户的唯一标识,ip是用户的登陆ip,每日的记录行数是1
长征4号
7年前
683
使用python构建基于hadoop的mapreduce日志分析平台
出处:http://rfyiamcool.blog.51cto.com/1030776/1340057 流量比较大的日志要是直接写入Hadoop对Namenode负载过大,所以入库前合并,可以把各个节点的日志凑并成一个文件写入HDFS。 根据情况定期合成,写入
科技探索者
6年前
837
hadoop和Hive的数据处理流程
需求 场景:统计每日用户登陆总数 每分钟的原始日志内容如下: http://www.blue.com/uid=xxxxxx&ip=xxxxxx 假设只有两个字段,uid和ip,其中uid是用户的uid,是用户的唯一标识,ip是用户的登陆ip,每日的记录行数是
yuanrengu
11年前
644
Hadoop常见错误和处理方式
常见问题及处理 mysql版本,必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候,最好是:create database hive; oozie的数据库,同样:create database oozie; h
知与谁同
7年前
3146
《hadoop进阶》web日志系统 KPI指标的分析与实现
推广一下个人的微信公众号【数据与算法联盟】
thinkgamer.cn
8年前
837
hadoop 日志处理 相关的问答
Spark从本地文件流式传输到hdfs。textFileStream
我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录,并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是,当我开始流式传输时,没有任何事情发生。我检查了日志,但我没有得到提示。 让我解释一下这个场景。s
社区小助手
5年前
756
通过mapreduce向mysql大量写数据时报错Communications link failure during rollback(). Transaction resolution unknown.
报错如下: ``` AttemptID:attempt_1398735110766_0055_r_000000_0 Timed out after 600 secs Error: java.io.IOException: Communications
小旋风柴进
8年前
5914
client频繁出现 waiting for 174 actions to finish on table问题
批量get hbase频繁出现 waiting for 174 actions to finish on table类似的日志,看了下代码,客户端批量请求的时候维护一个共享变量 ![10](https://yqfile.alicdn.com/c1156ca
hbase小能手
5年前
1065
Spark 【问答合集】
如何使用spark将kafka主题中的writeStream数据写入hdfs? https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么? https://yq.aliyun.co
社区小助手
5年前
533
MongoDB
简介编辑 MongoDB[1] 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 mongoDB mongoDB MongoDB[2] 是一个介于关系数据库和非关系数据库之间的产品,是非关系数
永恒死神
6年前
3779
相关主题
hadoop 图像处理
hadoop 大数据处理
hadoop海量数据处理
hadoop
用hadoop
hadoop视频
hadoop 培训
hadoop实战
搭建hadoop
hadoop安装
hadoop 存储
hadoop查询
hadoop 搭建
hadoop应用
hadoop开发
托管 Hadoop
学习Hadoop
hadoop生态
hadoop hbase
hbase hadoop
hadoop是什么
mongodb hadoop
hadoop存储架构
hadoop实时查询
hadoop优点分析
hadoop 存储数据
hadoop 语义分析
Hadoop实践分析
hadoop c
hadoop 权威指南
hadoop/hive
hadoop项目实战
hadoop mr
hadoop任务调度
hadoop paas
rpc hadoop
hadoop rpc
日志服务
管理日志
日志赚钱
指针c++指针数组
MYSQL_ROOT密码丢失
ctrlalt
progressdialog
中软
ASP常用函数:Trace()
PropertyGrid
内部类
jquery_css时钟
NSRegularExpression