首页 > 分享 > Hadoop3, datanode 与live node(伪分布=0) 不相等

Hadoop3, datanode 与live node(伪分布=0) 不相等

最新推荐文章于 2022-11-02 12:47:35 发布

大胖头leo 于 2019-03-09 17:35:39 发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

结论: 其实到最后我也没弄明白原因是什么, 就当作记录以下解决风心路历程吧

今天在用HDFS的时候,发现spark-streaming怎么也写入不了HDFS, 检查之后 我就看不明白了。

jps检查之后,所有的service都正常启动了,但是local:9870里 live node的数量不对, 改成伪分布式之后live node=0, 但是在resourceManager(local:8088)里,能看到有一个node。 服务都有, 一个有node,一个没有,这是咋回事

查到可能是 /etc/hosts的问题, 修改之后,没有变化。

后来又查到 slave下的各个node不能存在同一个hdfs的path下,修改之后还是不行。

local:9870 无法介入hdfs,不能读,地址不存在,但是文件夹已经有了。

log看到自闭,没发现问题。

因为在伪分布式下live node = 0, 所以很可能是master这里有问题, 试图格式化hdfs, 首先尝试删除tmp

rm -r ./tmp

然后格式化namenode

./bin/hdfs namenode -format

再重启, 他就好了。。。。。。

(问题:live node = 0,yarn上能查到正确的node,可以先尝试格式化namenode)

相关知识

开到荼蘼 (Live)
鲁冰花 (Live)
花瓣 (Live)
自由行走的花 (Live)
Live 实况图也能修?美图公司旗下产品解锁朋友圈 Live 实况修图
毕业论文live网上鲜花电子商务系统的分析与设计
兰花花儿 (Live)
花瓣(Live)
花朵 (Live)
NKOI1087 好人何老板

网址: Hadoop3, datanode 与live node(伪分布=0) 不相等 https://m.huajiangbk.com/newsview1399402.html

所属分类:花卉
上一篇: 原来保存香葱这么简单,放半年都还
下一篇: 减肥=节食?5种低热量逆龄菜谱,