在MRS平台的执行机上通过spark-submit进行提交,但在本地 Shell 窗口却没有打印出 applicationId,是客户端日志级别设置过高导致的。
Spark 提交客户端打印 applicationId(例如 Submitted application application_1612345678_0001)使用的是 INFO 级别的日志。如果你的 Spark 客户端的日志级别被配置成了 WARN 或 ERROR,这条信息就会被隐藏。
解决办法:
找到提交任务所在的机器上的 Spark 配置文件目录(通常是 $SPARK_HOME/conf/),查看 log4j.properties(Spark 3.3+ 可能是 log4j2.properties)。
确保控制台输出的根级别或 YARN Client 的级别包含 INFO。
修改前(如果是 WARN):
log4j.rootCategory=WARN, console
修改后:
log4j.rootCategory=INFO, console
提示:如果不想全局修改,可以在提交脚本中临时指定自定义日志配置文件:–driver-java-options “-Dlog4j.configuration=file:/path/to/your/log4j-info.properties”