结论: 其实到最后我也没弄明白原因是什么, 就当作记录以下解决风心路历程吧
今天在用HDFS的时候,发现spark-streaming怎么也写入不了HDFS, 检查之后 我就看不明白了。
jps检查之后,所有的service都正常启动了,但是local:9870里 live node的数量不对, 改成伪分布式之后live node=0, 但是在resourceManager(local:8088)里,能看到有一个node。 服务都有, 一个有node,一个没有,这是咋回事
查到可能是 /etc/hosts的问题, 修改之后,没有变化。
后来又查到 slave下的各个node不能存在同一个hdfs的path下,修改之后还是不行。
local:9870 无法介入hdfs,不能读,地址不存在,但是文件夹已经有了。
log看到自闭,没发现问题。
因为在伪分布式下live node = 0, 所以很可能是master这里有问题, 试图格式化hdfs, 首先尝试删除tmp
rm -r ./tmp
然后格式化namenode
./bin/hdfs namenode -format
再重启, 他就好了。。。。。。
(问题:live node = 0,yarn上能查到正确的node,可以先尝试格式化namenode)