@Override
public int run(String[] args) throws Exception {
//String fileName = "E:/tmp/1111.txt";
Configuration conf = new Configuration();
conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");
String inputFile = "E:/tmp/call.pl";
String output = "E:/tmp/output/";
Job job = new Job(conf,this.getClass().getSimpleName());
job.setJarByClass(this.getClass());
job.setMapperClass(LxwMapper.class);
job.setReducerClass(LxwReducer.class);
FileInputFormat.addInputPath(job, new Path(inputFile));
FileOutputFormat.setOutputPath(job, new Path(output));
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
System.exit(job.waitForCompletion(true) ? 0 : 1);
return 0;
}
public static void main(String[] args) throws Exception {
int exitCode = ToolRunner.run(new Configuration(), new LxwJob(), args);
System.exit(exitCode);
}
分享到:
相关推荐
文档针对使用spark做分布式数据处理的windows环境下本地必要配置。
Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2
IDEA hadoop本地调试MR windows-hadoop-bin 的压缩包,适合hadoop2.7.2以上,而且有详细的安装环境文档和错误的处理,一次通过
hadoop本地测试环境搭建工具包 1.hadoop.dll 2.hadoop源码请到官网下载
内容概要: HadoopMR程序代码; job提交流程; mr程序的几种提交运行模式;
hadoop学习本地win测试mapreduce程序,所要用到的环境软件.rar
前提是你已经在windows上安装hadoop2.7.1。请将hadoop2.7.1中的bin和etc删除,使用hadooponwindows-master中的bin和etc代替 资源说明: 有些时候,我们想在自己电脑windows系统上使用hadoop,这样省去了建虚拟机的...
本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库本地库
Windows本地来测试hadoop的文件,方便进行快速的开发和迭代
IDEA 本地调试Hadoop 和MR,所有的资源和说明文档,绝对正确。
windows安装需要的Hadoop库文件,windows安装需要的Hadoop库文件.
hadooponwindows-master.rar
hadoop运行在windows上,基于hadoop2.7.1上,解压后替换原有的bin、etc目录,其它与linux 操作一致。
windows下本地模式hadoop-2.6.1。方便在本地调试hadoop mr代码,无需启动集群。使用方法如下: 1.将三个压缩包解压,这三个压缩包是一个大文件夹切分成的 2.配置HADOOP_HOME环境变量, 3.配置%HADOOP_HOME%\etc\...
windows下本地模式hadoop-2.6.1。方便在本地调试hadoop mr代码,无需启动集群。使用方法如下: 1.将三个压缩包解压,这三个压缩包是一个大文件夹切分成的 2.配置HADOOP_HOME环境变量, 3.配置%HADOOP_HOME%\etc\...
hadoop-wordcount测试程序,jar包,单词统计的不二之选
windows下本地模式hadoop-2.6.1。方便在本地调试hadoop mr代码,无需启动集群。使用方法如下: 1.将三个压缩包解压,这三个压缩包是一个大文件夹切分成的 2.配置HADOOP_HOME环境变量, 3.配置%HADOOP_HOME%\etc\...
1. hadoop-2.7.6.tar.gz 2. hadooponwindows-master.rar
hadoop-windows下配置文件,用于在windows环境下安装hadoop使用,直接可以使用,省去自己编译的麻烦,支持当前最新的2.7.3版本。
将两个类org.apache.hadoop.io.nativeio.NativeIO.java,org.apache.hadoop.mapred.YARNRunner.java 放到工程的src下,两个类的package不修改,否则覆盖不掉原来的hadoop的那两个类