JAVA高级面试进阶训练营视频教程

admin

spark集群的启动过程：

1.启动Hadoop：

①初始化：hadoop namenode -format

②启动服务：start-dfs.sh  +  start-yarn.sh   (或者直接start-all.sh)

③查看进程：jps

启动成功的话会显示6条进程，如下图所示：

 

2.启动spark：

Hadoop启动成功后，cd到spark目录下，执行sbin/start-all.sh,

查看进程会发现多了worker和master

 

可以通过WEB端进行查看：

namenode端口：50070 
yarn端口：8088 
spark集群端口：8080 
spark-job监控端口：4040

 

此时spark集群就启动成功了。

 

不过很多朋友们会经常遇到DataNode启动失败的情况，即进程中缺少DataNode。以下是我个人的解决方案：

到Hadoop目录下的/tmp/dfs可以看到两个目录：name和data，分别找到该目录下的VERSION文件，查看其clusterID，修改data中的clusterID使其与与name中的clusterID保持相同。如果相同，则datanode可正常启动。

当我们执行初始化：hadoop namenode -format时，会出现个询问，如下图，此处如果选择Y，则/tmp/dfs下name夹子会更新，进而version文件中的clusterID会发生变化，导致data文件的clusterID与name的clusterID不同，此时则无法正常启动datanode,所以提醒大家记得选N，避免不必要的麻烦。