adsense728x90


spark scala 처음 쓰기 DataMining




scala ide luna를 다운로드.

scala 최신 버전에서는 error가 난다. 버전을 조금 낮추기

worksheet를 써 보려고 했는데, log가 너무 많이 남아서 실행 결과가 잘 안 보인다.


로그를 좀 끄기.

import org.apache.log4j.Loggerimport org.apache.log4j.LevelLogger.getLogger("org").setLevel(Level.OFF)Logger.getLogger("akka").setLevel(Level.OFF)

로그를 줄였더니, 이상한 로그가 // 없이 코드 부분을 침범한다.



def recover[R: ClassTag](a
: RDD[scala.Tuple2[Long, R]]) = {
a.join(b.map(_.swap)).map{ case (us, (r, ui)) => (ui, r)}
}




처럼 Logging을 쓸 수 있었다.

import org.apache.spark.Logging



덧글

댓글 입력 영역