cygwin上运行hadoop mr任务,一直报错:
2012-04-20 00:47:28,937 WARN org.apache.hadoop.mapred.TaskTracker: Error running child
java.io.FileNotFoundException: File C:/home/Administrator/hadoop-0.20.2/hadooptmp/mapred/local/taskTracker/jobcache/job_201204200043_0002/attempt_201204200043_0002_m_000001_0/work/tmp does not exist.
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
at org.apache.hadoop.mapred.Child.main(Child.java:155)
2012-04-20 00:47:28,937 INFO org.apache.hadoop.mapred.TaskRunner: Runnning cleanup for the task
2012-04-20 00:47:28,937 INFO org.apache.hadoop.mapred.TaskTracker: Error cleaning upjava.lang.NullPointerException
最终解决:
在mapred-site.xml中添加:
<property>
<name>mapred.child.tmp</name>
<value>/home/Administrator/hadoop-0.20.2/child/temp</value>
<description> To set the value of tmp directory for map and reduce tasks.
If the value is an absolute path, it is directly assigned. Otherwise, it is
prepended with task's working directory. The java tasks are executed with
option -Djava.io.tmpdir='the absolute path of the tmp dir'. Pipes and
streaming are set with environment variable,
TMPDIR='the absolute path of the tmp dir'
</description>
</property>
分享到:
相关推荐
windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解
Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包
内含三个文档,Cygwin+Eclipse搭建Hadoop开发环境、cygwin安装及基本操作方法总结、Hadoop环境搭建及wordcount实例运行,要做这方面工作的人,可以进行参考
windows平台下cygwin搭建hadoop,不错的资料欢迎下载
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
win7下Cygwin搭建Hadoop开发环境
本文档详细介绍了如何在Windows上的Cygwin环境上安装Hadoop的详细过程,网上的很多帖子都是有错误的,我在这里总结并修改的部分错误,希望对大家有帮助。
win7(32位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 Cygwin(32位)的安装 + ssh的配置 离线安装包
最新版cygwin4hadoop,cygwin2.761
hadoop,mapreduce及windows下配置cygwin等内容介绍,以及应用案例
NULL 博文链接:https://superlxw1234.iteye.com/blog/1491637
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
目录:1 Hadoop 介绍 2 Hadoop 在国内应用情况 3 Hadoop 源代码eclipse 编译教程 7 在Windows 上安装Hadoop 教程 13 在Linux 上安装Hadoop 教程 19 在Windows 上使用eclipse 编写Hadoop 应用程序 24 在Windows 中...
分布式,Windows下安装Cygwin,安装Hadoop,运行实例。
在Windows下利用cygwin仿unix环境安装配置Hadoop
介绍了cygwin详细下载过程,以及在windows下运行sleuth模型
详细介绍windows下,下载安装cygwin进行搭建hadoop开发环境过程。
window系统 免cygwin 环境搭建 hadoop使用工具,winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件
Cygwin是一个在windows平台上运行的类UNIX模拟环境,是cygnus solutions公司开发的自由软件(该公司开发的著名工具还有eCos,不过现已被Redhat收购)。它对于学习UNIX/Linux操作环境,或者从UNIX到Windows的应用程序...