hadoop 在win系统中的eclipse开发测试问题及解决
一· 在win系统下安装cygwin的步骤不在赘述,常见错误如下:问题1]
# /usr/local/sbin/sshd /usr/local/sbin/sshd: error while loading shared libraries: libnsl.so.1: cannot open shared object file: No such file or directory
[分析与解决]
用strace跟踪sshd,查询缺少的目录和文件,给与相应的添补。
strace -f -F /usr/local/sbin/sshd
cp libnsl* /work/lib/
[问题2]
# /usr/local/sbin/sshd Privilege separation user sshd does not exist
[分析与解决]
没有sshd用户 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
scp /etc/passwd root@HOST:/etc
scp /etc/shadow root@HOST:/etc
scp /etc/group root@HOST:/etc
[问题3]
# /usr/local/sbin/sshd Missing privilege separation directory: /var/empty
[分析与解决]
# mkdir /var/empty
[问题4]
[root@localhost .ssh]# ssh -l root 192.168.167.132
root@192.168.167.132's password:
Permission denied, please try again.
[分析与解决]
密码输入错误,重新连接尝试.
[问题5]
# ./ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Could not create directory '/root/.ssh'.
[分析与解决]
# ls / bin etc linuxrc nfs sys var dev jffs2 lost+found proc tmpfs yaffs2 edwin lib mnt sbin usr # cd /root -sh: cd: can't cd to /root # mkdir root # cd /root # mkdir .ssh
[问题6]
# /usr/local/sbin/sshd
Missing privilege separation directory: /var/empty
[分析与解决]
# ls /var
# mkdir /var/empty
# /usr/local/sbin/sshd
[问题7]
[root@localhost ~]# ssh 192.168.167.132 ssh: connect to host 192.168.167.132 port 22: Connection refused
[分析与解决]
注释 /etc/hosts.deny /etc/hosts.allow 中的限制部分.
net sshd stop
net sshd start
[问题9]
在客户端ssh到target后,用户帐户和密码验证通过,但是没有启动shell.
[分析与解决]
查看日志,发现有:PTY allocation request failed on channel 0
1.rm -rf /dev/ptmx
2.mknod /dev/ptmx c 5 2
3.chmod 666 /dev/ptmx
4.umount /dev/pts
5.rm -rf /dev/pts
6.mkdir /dev/pts
7.mount /dev/pts
[问题10]
客户端连接卡住,无法连进.
[分析与解决]
有可能是cyg维护死进程太多,此为cyg的BUG,用有权限的账号连入系统:
killall -9 bash
killall -9 sshd
net stop sshd
net start sshd
[问题11]
ssh 显示已经脸上,但马上断开.
[分析与解决]
查看当前用户 /etc/password 里shell的设置是否正确.
查看 /var/ 目录权限是否足够,包括所有者权限和文件权限.
查看当前用户的家目录是否设置正常,权限是否足够.
[问题12]
sshd 服务无法启动
[分析与解决]
$ net start sshd
发生系统错误 1069。
由于登录失败而无法启动服务。
-- 这是由于用户密码输入错误导致的,以后更改用户后sshd也可能发生这个问题,在 services.msc 里的登录标签里更改用户设置即可!
$ net start sshd
CYGWIN sshd 服务正在启动 .
CYGWIN sshd 服务已经启动成功。
事件 ID ( 0 )的描述(在资源( sshd )中)无法找到。
本地计算机可能没有必要的注册信息或消息 DLL 文件来从远程计算机显示消息。
您可能可以使用 /AUXSOURCE= 标识来检索词描述;查看帮助和支持以了解详细信息。
下列信息是事件的一部分: sshd: PID 2784: fatal: setreuid 1003: Permission denied.
-- 出现这种情况,需要重新安装服务.
net stop sshd
ssh-host-config
二·hadoop在eclipse中开发常见错误
1.run on hadoop没有反映
hadoop-0.20.0下自带的eclise插件已过时。
解决方案:
1、下载正确的插件:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
2、重命名:将下载的插件重命名为“hadoop-0.20.0-eclipse-plugin.jar"
3、替换原来的插件。
4、重启eclipse
2:run on hadoop 时错误
Caused by: java.io.IOException: Cannot run program “chmod”: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at java.lang.ProcessBuilder.start(ProcessBuilder.java:459) at org.apache.hadoop.util.Shell.runCommand(Shell.java:149) at org.apache.hadoop.util.Shell.run(Shell.java:134) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:286) at org.apache.hadoop.util.Shell.execCommand(Shell.java:354) at org.apache.hadoop.util.Shell.execCommand(Shell.java:337) at org.apache.hadoop.fs.RawLocalFileSystem.execCommand(RawLocalFileSystem.java:481) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:473) at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:280) at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:266) at org.apache.hadoop.mapred.JobClient.configureCommandLineOptions(JobClient.java:573) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:761) at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730) at cascading.flow.FlowStepJob.blockOnJob(FlowStepJob.java:162) at cascading.flow.FlowStepJob.start(FlowStepJob.java:138) at cascading.flow.FlowStepJob.call(FlowStepJob.java:127) at cascading.flow.FlowStepJob.call(FlowStepJob.java:39) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303) at java.util.concurrent.FutureTask.run(FutureTask.java:138) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:619)Caused by: java.io.IOException: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at java.lang.ProcessImpl.create(Native Method) at java.lang.ProcessImpl.<init>(ProcessImpl.java:81) at java.lang.ProcessImpl.start(ProcessImpl.java:30) at java.lang.ProcessBuilder.start(ProcessBuilder.java:452) … 21 more
解决方法:将cygwin的bin目录添加到Windows系统的PATH, 如果还不行,重启elipse即可
持续更新中....
相关推荐
hadoop 2.6 win 64位 eclipse 资源 1、亲测,放到system32 和 bin目录下即可 2、网上一些dll版本是比较低。的
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个...2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3.只需要在eclipse中“Run on Hadoop",不需要自己打包上传运行。
Linux和Win下配置eclipse开发hadoop
hadoop环境搭建和eclipse开发
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
eclipse配置hadoop,并且如何在eclipse中进行mapreduce的开发
Hadoop在eclipse上面安装插件,以及对Hadoop jar包和hadoop-common jar包的安装,环境变量的配置
hadoop-2.8.0 版本的eclipse插件
首先寻找到hadoop下面的eclipse-plugin的jar,位置在/home/hadoop/hadoop/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 将其赋值到刚才解压的eclipse目录下,目录在/home/hadoop/eclipse/plugins/,...
适用用hadoop2 ,eclipse 集成插件。!可用在eclipse 开发hadoop程序
hadoop2.8.dll及eclipse plugin套装 hadoop2.8.dll及eclipse plugin套装 hadoop2.8.dll及eclipse plugin套装
包含hadoop2.6.0源码和eclipse开发hadoop所用插件,下载即可用。
hadoop2.9.2 eclipse插件,里面有说明。...2、使用hadoop-eclipse-plugin-2.9.2-local.jar,访问本地的文件系统 3、wintuils_hadoop.zip本地eclipse运行需要的包。 另外2.9.2hadoop编译包太大,传不上来
Eclipse开发Hadoop相关项目本地配置插件,本地Eclipse相关配置插件和本地电脑部署Hadoop的相关插件
Hadoop安全分布式的Eclipse开发环境配置,附图片讲解。
hadoop2.7.4+hbase1.3.1+jdk1.8+eclipse4.7.0+win7下的开发示例。有具体的配置和代码。
hadoop0.20.2的eclipse3.3.2插件及开发环境帮助文档
hadoop-eclipse2.5.2、hadoop-eclipse2.6.0、hadoop-eclipse2.6.5
将此jar包拷贝到eclipse的plugins目录下,然后重启Eclipse,即可在eclipse中查看那到hadoop选择项. 将此jar包拷贝到eclipse的plugins目录下,然后重启Eclipse,即可在eclipse中查看那到hadoop选择项
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...