将hadoop伪分布模式配置完后，使用jps查看，发现总是有一些没有启动，非常郁闷，在多番研究后发现有两个原因，一个是在/tmp目录下有以前使用的版本留下的文件没有删除，二个是因为端口被占用了
解决方法：
一.删除/tmp下的所有文件
-
hadoop@liuqin-VirtualBox:~$ ls -dl /tmp
-
hadoop@liuqin-VirtualBox:~$ rm -rf /tmp/*
二.对占用的端口进行释放
-
hadoop@liuqin-VirtualBox:~$ lsof -i:9100
-
hadoop@liuqin-VirtualBox:~$ lsof -i:50030
-
hadoop@liuqin-VirtualBox:~$ lsof -i:50060
-
-
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
-
java 4280 shen 79u IPv6 51108 0t0 TCP *:50060 (LISTEN)
-
hadoop@liuqin-VirtualBox:~$ lsof -i:50070
如上图，就是因为50060端口被占用，所以无法启动TaskTracker，kill后一切正常
附端口说明：
默认端口 设置位置 描述信息
9000 namenode 交互端口
8020 namenode RPC交互端口
8021 JT RPC 交互端口
50030 mapred.job.tracker.http.address JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port DATANODE控制端口，主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface 辅助DATANODE的HTTP服务器和端口
三.对namenode进行格式化
如果有修改过namenode dir 位置，需要确保位置不存在，并对/tmp目录下文件进行删除，不然会总是Format abort
阅读(4123) | 评论(0) | 转发(0) |
