316 日 , 2026 0:08:44
305 日 , 2026 14:26:51
环境问题记录一:spark-submit提交任务不打印applicationId

在MRS平台的执行机上通过spark-submit进行提交,但在本地 Shell 窗口却没有打印出 applicationId,是客户端日志级别设置过高导致的。

Spark 提交客户端打印 applicationId(例如 Submitted application application_1612345678_0001)使用的是 INFO 级别的日志。如果你的 Spark 客户端的日志级别被配置成了 WARN 或 ERROR,这条信息就会被隐藏。

解决办法:

找到提交任务所在的机器上的 Spark 配置文件目录(通常是 $SPARK_HOME/conf/),查看 log4j.properties(Spark 3.3+ 可能是 log4j2.properties)。

确保控制台输出的根级别或 YARN Client 的级别包含 INFO。

修改前(如果是 WARN):

 log4j.rootCategory=WARN, console

修改后:

 

 log4j.rootCategory=INFO, console

提示:如果不想全局修改,可以在提交脚本中临时指定自定义日志配置文件:–driver-java-options “-Dlog4j.configuration=file:/path/to/your/log4j-info.properties”

215 日 , 2026 18:19:08
动漫安利:超时空辉夜姬

谁能拒绝这样的辉夜姬呢?
这种赛博朋克与梦幻交织的画风真的太惊艳了。光影的处理非常有质感,仿佛真的穿梭于未来与过去之间。

212 日 , 2026 22:03:52