305 日 , 2026 14:26:51
环境问题记录一:spark-submit提交任务不打印applicationId

在MRS平台的执行机上通过spark-submit进行提交,但在本地 Shell 窗口却没有打印出 applicationId,是客户端日志级别设置过高导致的。

Spark 提交客户端打印 applicationId(例如 Submitted application application_1612345678_0001)使用的是 INFO 级别的日志。如果你的 Spark 客户端的日志级别被配置成了 WARN 或 ERROR,这条信息就会被隐藏。

解决办法:

找到提交任务所在的机器上的 Spark 配置文件目录(通常是 $SPARK_HOME/conf/),查看 log4j.properties(Spark 3.3+ 可能是 log4j2.properties)。

确保控制台输出的根级别或 YARN Client 的级别包含 INFO。

修改前(如果是 WARN):

 log4j.rootCategory=WARN, console

修改后:

 

 log4j.rootCategory=INFO, console

提示:如果不想全局修改,可以在提交脚本中临时指定自定义日志配置文件:–driver-java-options “-Dlog4j.configuration=file:/path/to/your/log4j-info.properties”

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!