分类：kafkaAppender输出日志到kafka

2020
09-28

spark通过kafka-appender指定日志输出到kafka引发的死锁问题

在采用log4j的kafka-appender收集spark任务运行日志时，发现提交到yarn上的任务始终ACCEPTED状态，无法进入RUNNING状态，并且会重试两次后超时。期初认为是yarn资源不足导致，但在确认yarn资源充裕的时候问题依旧，而且基本上能稳定复现。起初是这么配置spark日志输出到kafka的：log4j.rootCategory=INFO,console,kafkalog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.a... 继续阅读 >