1. 准备:
linux上已经安装好hadoop集群或者单机;
windows上有个hadoop-0.20.2文件夹;
Eclipse Europa 3.3.2
(勿使用其他版本,测试没通过)下载地址: http://www.eclipse.org/downloads/packages/release/europa/winter
2. 安装eclipse插件:
把hadoop-0.20.2/contrib/eclipse-plugin下的hadoop-0.20.2-eclipse-plugin.jar文件拷到eclipse 的plugins目录下,重启eclipse,在Window-》Open
Perspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的
configuration/org.eclipse.update文件夹删了,再重启eclipse。
3. 配置环境:
启动eclipse,转到Map/Reduce Perspective,在上图的Map/Reduce Locations里,新建一个Location,填入以下值
* Location Name -- localhost
* Map/Reduce Master (mapred.job.tracker中配置的jobtracker地址和端口)
o Host -- 10.125.50.20
o Port -- 50021
* DFS Master (fs.default.name中配置的host和端口)
o Host -- hd021-test.nh.sdo.com
o Port -- 8020
* User name -- lxw (用来提交mr任务的用户名)
4. 上传文件到hdfs:
hadoop fs -put 10.125.50.20.pub /user/lxw/input/
这时,在eclipse的Project explorer的DFS location中,应该能反应变化,没有的话,reconnect一下
5. 创建Map/Reduce Project:
右键点击 Project
Explorer
窗口,选择 New -> Project..
找到 Map/Reduce Project,
点Next
,输入名字。
点击下面的Config Hadoop Install Directiory,输入Hadoop的目录,如:D:\hadoop-0.20.2
6. 新建mr程序:
右键点击新创建的 Hadoop 工程,选择 New
-> Other
转到 Map/Reduce
文件夹, 选择 MapReduceDriver
然后点击 Next
,输入名字,点击Finish。
这样会自动生成一些代码,不用管,直接删掉,然后写自己的mr程序即可;
7. 运行mr程序:
选择 Run As --> Run on Hadoop.
弹出以下窗口:
选择 "Choose existing hadoop location"
, 然后选择刚才创建的hadoop配置信息,点击fihish即可开始运行;
分享到:
相关推荐
Win7中使用Eclipse连接虚拟机中的Linux中的Hadoop2.5.0经验总结. 我自己测试在Hadoop2.5.0,但应该也能解决2.5.0以上版本问题,文档中包含解决步骤及所需要的包,如hadoop.dll及winutils.exe。还有一个修改过的...
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用
用Windows下的Eclipse远程连接Hadoop的插件,适用于64位操作系统,hadoop2.6.0版本
本资源提供四个文件:适合于2.4,2.2,2.6,2.7等各个不同的hadoop版本,请根据需要进行选择,如果期中一个不行,你可以将四个都复制到eclipse/plugins目录下,然后重新启动eclipse,就可以在eclipse中看到hadoop选项了...
windows eclipse 运行wordcount连接linux hadoop NativeIO YARNRunner 完项目 源码
Linux和Win下配置eclipse开发hadoop
Win10的eclipse连接CentOS的Hadoop集群 首先你得现在Windows上安装好eclipse 1.下载eclipse连接hadoop的插件 ,去下载符合你hadoop版本的插件,然后放入eclipse安装目录下的plugins目录下
windows下 eclipse操作hadoop集群 插件
公司进行战略调整阶段,终于可以闲下心来潜心研究分布式应用Hadoop。至于hadoop的应用结构,在这里不必多说,大家网上搜索相关文章即可。...四、Windows下eclipse配置hadoop插件 五、Eclipse运行WordCount项目
首先寻找到hadoop下面的eclipse-plugin的jar,位置在/home/hadoop/hadoop/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 将其赋值到刚才解压的eclipse目录下,目录在/home/hadoop/eclipse/plugins/,...
linux-32-eclipse-kepler-hadoop-1.1.2-eclipse-plugin.rar
hadoop安装、配置经验。对搭建hadoop平台很有帮助
是windows下eclipse连接hadoop的操作文档,注意系统环境变量一定要配置
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...
Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
eclipse配置hadoop,并且如何在eclipse中进行mapreduce的开发
适用用hadoop2 ,eclipse 集成插件。!可用在eclipse 开发hadoop程序
eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例
Eclipse中远程调试Hadoop必备资料:hadoop-eclipse-plugin-1.1.1和hadoop-core-1.0.2-modified;已经在eclipse-jee-juno-SR1-win32-x86_64和hadoop1.1.1 下测试过。