adsense728x90


spark submit 문제 해결 중. DataMining



org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages ExecutorLostFailure

서버 용량이 딸리는 건가
 .set("spark.rdd.compress","true")       .set("spark.storage.memoryFraction","1")       .set("spark.core.connection.ack.wait.timeout","600")       .set("spark.akka.frameSize","50")
를 넣기.

넣어도 해결 안되네..


java.lang.NoSuchMethodError
는 maven에서 버전 안 맞고 겹치는 library exclude하기

그래도 문제가 생기곤 한다.
spark가 쓰고 있는 library랑 겹쳐 버리면...

spark.{driver, executor}.userClassPathFirst = true

로 바꾸고,



def urlses(cl: ClassLoader): Array[java.net.URL] = cl match {
case null => Array()
case u: java.net.URLClassLoader => u.getURLs() ++ urlses(cl.getParent)
case _ => urlses(cl.getParent)
}
 
val urls = urlses(getClass.getClassLoader)
println(urls.filterNot(_.toString.contains("ivy")).mkString("\n")


로 classpath를 출력해 봤다.

이번에는 다른 반대 방향으로 conflict가 생겨서 문제가 나는 것 같다..
spark이 user classpath의 library를 써 버려서..







덧글

댓글 입력 영역