在运行多个spark应用程序的时候,经常会出现initial job has not accepted any resources的错误。
而如果用spark-submit方式提交的话,经常是结果不显示。而在监控网页上看到的是状态一直在waiing.如下所示。
经过仔细检查,发现是CORES的问题,由于之前的程序将CORES全部占用,而后来的任务没有足够的CPU来支撑,因此只能在WAITING。
因此只需要在RUN之前进行核数配置就可以。
在运行多个spark应用程序的时候,经常会出现initial job has not accepted any resources的错误。
而如果用spark-submit方式提交的话,经常是结果不显示。而在监控网页上看到的是状态一直在waiing.如下所示。
经过仔细检查,发现是CORES的问题,由于之前的程序将CORES全部占用,而后来的任务没有足够的CPU来支撑,因此只能在WAITING。
因此只需要在RUN之前进行核数配置就可以。