hadoop 1.x端口列表 - 另外4个未知端口

Question

我配置并安装了hadoop 1.2.1单节点。 我将namenode和jobtracker地址的端口分别配置为“ hdfs：// localhost：9000 ”和“ localhost：9001 ”。

启动集群后（ start-all.sh ）。 之后我运行了netstat -nltp ，它列出了hadoop端口。

50030 - jobtracker Web UI
50060 - tasktracker Web UI
50070 - namenode Web UI
50075 - datanode Web UI
(http://localhost:50075/browseDirectory.jsp?dir=%2F)
50090 - secondary namenode Web UI

54310 - namenode (as configured in XML)
54311 - jobtracker (as configured in XML)
50010 - datanode (for data transfer)
50020 - datanode (for block metadata operations & recovery)
33447 - tasktracker ( not configured. Any unused local port is chosen by hadoop itself)

但是，其他几个端口也被占用，它表明它是java进程（我停止了hadoop并确认这些只属于hadoop集群）。

48212 - ???
41888 - ???
47448 - ???
52544 - ???

这些不是固定端口。 它们是动态选择的。 因为，当我重新启动集群（ stop-all.sh和start-all.sh ）时，其他端口与第一次相同，但这些端口已更改

48945 - tasktracker (This is fine, as explained before)

其他港口怎么样？ 这些端口用于什么？

44117 - ???
59446 - ???
52965 - ???
56583 - ???

Answer 1

在linux系统上，已知服务通常列在/etc/services文件中。 这是网络实用程序（例如netstat ）获得端口号的友好名称（即80 / http）。

某些包可能会更新/etc/services 。 如果有问题的hadoop端口具有更改的动态范围，则没有理由执行此更新。

参考

http://www.cyberciti.biz/faq/find-out-which-service-listening-specific-port/
http://www.tldp.org/LDP/nag2/x-087-2-appl.services.html

希望这可以帮助。

Answer 2

感谢您发布这个有趣的问题，Vivek。

它引起了我很多的兴趣，我为Apache Hadoop 1.2.1挖掘了一些代码 - 每个主站和从站的启动部分; 但除了标准的文档之外，没有其他端口绑定。

我做了几个关于我们可以启动namenode并使用netstat -nltpa观察端口的方法的netstat -nltpa

1）hadoop --config ../conf namenode -regular

2）直接调用Namenode主类

3）添加默认的core-default.xml，然后启动namenode

我的观察是＃2和＃3只有标准端口出现，所以我查找了java选项，那就是宾果游戏。

在hadoop-env.sh中对以下所有内容进行评论，然后启动hadoop，您将只看到标准端口，因此您看到的其他端口都是JMX bin端口

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"

希望这可以帮助。

Answer 3

netstat -nltp

这显示了所有活动的TCP，UDP，RAW或Unix套接字连接。 Hadoop HDFS，Hbase，Zookeeper在中间创建大量套接字并用于读/写或消息传递。

在org.apache.hadoop.hdfs.DFSClient中创建RPC读取器线程的数量，以及从连接读取/写入数据。 hadoop.rpc.socket.factory.class.ClientProtocol将提供有关如何创建套接字/工厂的详细信息。