Hadoop在windows下调试问题总结

时间:2021-02-26 13:25:33   收藏:0   阅读:0

1.windows下调试时需要将hadoop.dll文件放到C:\Windows\System32下,网上很多说改源码的,其实这样也是ok的,不然会报权限错误

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
	at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
	at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:609)

2.执行时报ExitCodeException exitCode错误的,请安装常用C++库合集(x86 + 64位),网上百度一下就有

3.修改C:\Windows\System32\drivers\etc下的hosts文件,里面添加自己的虚拟机集群ip和主机名一一对应,这样在浏览器中也就可以用master来访问了

4.在idea中调试时,需要将core-site.xml,hdfs-site.xml放到resources目录下,如果没有改hosts文件的话,记得把对应的主机名改成ip

5.如果不想配置HADOOP_HOME的,记得在MR任务执行的main方法最前面添加如下代码,其中

D:\devtools\hadoop-2.7.7 是我本地用的包含hadoop.dll和winutils,需要下载对应版本的在这里下载:https://github.com/cdarlint/winutils

System.setProperty("hadoop.home.dir", "D:\\devtools\\hadoop-2.7.7");
System.setProperty("HADOOP_USER_NAME", "root");

后续有问题继续补充。

评论(0
© 2014 mamicode.com 版权所有 京ICP备13008772号-2  联系我们:gaon5@hotmail.com
迷上了代码!