一、Service RPC port NameNode默认使用8020端口侦听所有的RPC请求(HDP版本),包括客户端数据请求,DataNode心跳和block上报,ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时,
一、Service RPC port
NameNode默认使用8020端口侦听所有的RPC请求(HDP版本),包括客户端数据请求,DataNode心跳和block上报,ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时,RPC请求响应时间也变得越来越长。
NameNode也给DataNode提供了专用的Service RPC port用于上报数据块和心跳状态,这样可以减少和客户端应用程序RPC队列请求的竞争。这个端口默认没有开启,需要手动配置参数。
Service RPC port另外也用于NameNode HA模块的ZKFC健康检查和auto failover 控制。
二、参数配置和HA集群操作步骤
1、对于无NameNode HA的集群,参数配置如下,
<property>
<name>dfs.namenode.servicerpc-address</name>
<value>namenode-host:8040</value>
</property>
2、对于NameNode开启了HA的集群,配置如下,
<property> <name>dfs.namenode.servicerpc-address.test.nn1</name> <value>test1st.com:8040</value> </property> <property> <name>dfs.namenode.servicerpc-address.test.nn2</name> <value>test2st.com:8040</value> </property>
3、 重启节点使参数生效步骤
整个操作步骤如下, 1)重启standby namenode 2)重启active namenode 3)rolling restart datanode, 4)stop ZKFC 5)重新格式化ZKFC并启动zkfc hdfs zkfc -formatZK
注意:更改服务RPC端口设置需要重新启动NameNodes,DataNodes和ZooKeeper故障转移控制器才能完全生效。如果您具有NameNode HA设置,则可以一次重新启动一个NameNode,然后重新启动其余组件以避免群集停机。
如果是生成环境更要注意了,我在生成环境中把上述的配置加到hdfs-site.xml文件以后,还没有重启集群,就发现配置文件已经生效了,导致两台namenode都挂掉了,,,最好是先修改完一台namenode,成功重启以后再修改另外一台,否则可能导致公司的业务发生不可描述的问题。0.0
原文链接:Hortonworks社区