戳蓝字“CSDN云计算”关注我们哦
我们很荣幸能够见证Hadoop十几年间经历了从无到有再到称王。感动于技术的日新月异时希望通过本篇有问有答带大家解决Hadoop的常见问题。
1QHadoop中执行hdfs dfs -ls出现put: .: No such file or directory如何解决
A 出现这个问题的原因是当前登录用户在HDFS中没有HOME文件夹执行下面命令即可解决
hadoop fs -mkdir -p /user/[current login user]
现在执行 hadoop fs -ls就可以看到文件了。
2Q执行hadoop namenode -fromat时出现下面错误
WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to
check if JNs are ready for formatting. 2 exceptions thrown如何解决
A解决方案
在各个节点执行zkServer.sh start 启动各个zookeeper
在各个节点执行hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。
再次执行hadoop namenode -fromat即可。
3Q用浏览器访问namenode的50070端口不正常如何解决
A需要诊断问题出在哪里
a、在服务器的终端命令行使用jps查看相关进程观察节点是否存活。
b、如果已经知道了启动失败的服务进程进入到相关进程的日志目录下查看日志分析异常的原因
1配置文件出错saxparser exception ——找到错误提示中所指出的配置文件检查修改即可
2unknown host——主机名不认识配置/etc/hosts文件即可或者是配置文件中所用主机名跟实际不一致注在配置文件中统一使用主机名而不要用IP地址
3directory 访问异常—— 检查namenode的工作目录看权限是否正常。
4Qstart-dfs.sh启动后发现有datanode启动不正常。
A解决方案如下
a查看datanode的日志看是否有异常如果没有异常手动将datanode启动起来
sbin/hadoop-daemon.sh start datanode
b很有可能是slaves文件中就没有列出需要启动的datanode
c排除上述两种情况后基本上能在日志中看到异常信息
1、配置文件
2、SSH免密登陆没有配置好
3、datanode的身份标识跟namenode的集群身份标识clusterID不一致删掉datanode的工作目录
5Q在自己电脑上搭建了伪分布的环境之后关机的时候没有关闭Hadoop环境再次开机重新启动服务的时候发现只有jobTracker可以启动剩下的都启动不了了在浏览器中打开localhost:50030/可以打开但是localhost:50060/和localhost:50070无法打开。
A这其实主要是因为多次个格式化namenode引起的在/tmp/下生成了多个文件并且在hsperfdata_hadoop文件夹下生成了多个ID其中有一个是没用的和上层目录下hadoop_namenode.pid不同的那个把它删掉然后再次格式化重启服务一切OK。
小伙伴们冲鸭后台留言区等着你
关于Hadoop今天你学到了什么还有哪些不懂的除此还对哪些话题感兴趣快来留言区打卡啦留言方式打开第XX天答……
同时欢迎大家搜集更多问题投稿给我们风里雨里留言区里等你~
推荐阅读
云漫圈 | 学Python还是Java, 8张漫画带你全面分析
趣挨踢 | 只有挨踢人才能读懂的西游记
一个App卖了4亿美元这家听声识曲公司为何得到Apple的青睐
孟岩JPMCoin 与 Schneier 教授的“区块链无用论”
骗局翻新, 暗网活跃度倍增, 2018加密货币犯罪报告敢看吗
春晚鬼畜 B 站日排行最高赵本山我的时代还没有结束
PDF翻译神器再也不担心读不懂英文Paper了
新闻联播也可以拿来做数据分析
1.微信群
添加自由互联小编微信color_ld备注“进群姓名公司职位”即可加入【云计算学习交流群】和志同道合的朋友们共同打卡学习
2.征稿
投稿邮箱liudancsdn.net微信号color_ld。请备注投稿姓名公司职位。
喜欢就点击“好看”吧