搞了很久,在网上一般看到SPARK_CLASSPATh 但是基本没有用
现在用的版本是 2.2.1
改shell脚本,修改LAUNCH_CLASSPATH没啥用
1.在spark-defaults.conf 添加
spark.driver.extraClassPath=/home/lib/*
这个目的是drivr
2. 在spark-env.sh 添加
SPARK_DAEMON_CLASSPATH=$SPARK_DAEMON_CLASSPATH:/home/lib/*
这个目的是worker
本文共 296 字，大约阅读时间需要 1 分钟。
搞了很久,在网上一般看到SPARK_CLASSPATh 但是基本没有用
现在用的版本是 2.2.1
改shell脚本,修改LAUNCH_CLASSPATH没啥用
1.在spark-defaults.conf 添加
spark.driver.extraClassPath=/home/lib/*
这个目的是drivr
2. 在spark-env.sh 添加
SPARK_DAEMON_CLASSPATH=$SPARK_DAEMON_CLASSPATH:/home/lib/*
这个目的是worker
转载于:https://my.oschina.net/gs80140/blog/1923239