hadoop2.x jobhistoryserver 配置
hadoop
hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下,默认情况下是没有启动的,需要配置完后手工启动服务。
编辑mapred-site.xml文件:
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
<description>MapReduce JobHistory Server IPC host:port</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
<description>MapReduce JobHistory Server Web UI host:port</description>
</property>
启动history-server:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
停止history-server:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
服务启动之后,可以通过浏览器访问WEBUI: master:19888,会在hdfs上会生成两个目录:
[user@nn ~]$ hadoop fs -ls /tmp/hadoop-yarn/staging/history
15/02/11 09:56:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
drwxrwx--- - hadoop supergroup 0 2015-02-10 15:44 /tmp/hadoop-yarn/staging/history/done
drwxrwxrwt - hadoop supergroup 0 2015-02-04 16:04 /tmp/hadoop-yarn/staging/history/done_intermediate
默认省略jobhistory存放目录实在hdfs上的:/tmp/hadoop-yarn/staging/history 路径下生成两个目录done(已经完成的作业的历史信息目录)和done_intermediate(正在运行的作业的信息目录)两个目录
可以在mapred-site.xml文件中继续添加属性:
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/job/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/job/history/done_intermediate</value>
</property>
修改后重启jobhistory服务即可生效,此时如果之前已经运行过job任务,则可以在19888端口下可以看到历史的job列表.但是点击一个具体任务时,本人测试看不到以往运行job的详细日志信息,需要重新开启一个测试任务:例如运行一个workcount任务,之后可以在19888端口看到wordcount的job条目
本人 点击箭头出的任务,如下图:
当yarn-site.xml
danruguo chuxian Aggregation is not enabled. Try the nodemanager at ......的提示时,需要在yarn-site.xml文件中添加属性:
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
点击workcount进入二级页然后重启yarn:start/stop-yarn.sh,重启jobhistory服务即可
相关推荐
hadoop2.X新特性介绍
理清Hadoop1.x与Hadoop2.x区别,对比分析。 Hadoop是大数据惊世之作,必学的东西,需要知道: 它由哪些部分组成? 各自的作用是什么? 如果工作的?
Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建
hadoop2.x 介绍,及对比hadoop1.x的区别。hadoop2.x的新特性的详细介绍。
《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...
英文的,讲解hadoop1.x与hadoop2.x配置异同
包含了hadoop配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
hadoop 2.x 安装文档 hadoop 2.5配置
这是一份详细,具体的Hadoop2.x的学习文档,包含了hadoop2.x中的hadfs文件系统,mr计算框架,yarn资源管理器,使用了图文的方式讲解
Hadoop 2.x Administration Cookbook 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
本片文档是整合的Hadoop2.X 的安装与配置,包含三个节点,希望对有所帮助
企业级Hadoop 2.x项目实战
Hadoop是大数据技术中最重要的框架之一,是学习大数据必备的第一课,在Hadoop平台之上,可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级!以企业实际生产环境为背景,增加了更...
hadoop2.x安装指南.
Hadoop3.x系统文档Hadoop3.x系统文档Hadoop3.x系统文档
在这篇文章中,我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...
Hadoop 2.x Administration Cookbook 英文azw3 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
Apache Hadoop2.x 安装入门详解 PDF
替换至 hadoop 2.X/etc/hadoop 目录即可使用
Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop ...