spark 소스 수정하고, build, test

https://spark.apache.org/docs/latest/building-spark.html#spark-tests-in-maven

• Spark Tests in Maven

• Testing with SBT

maven이나 sbt로 build, test할 수 있다.

eclipse에서는 build error가 난다.

To run only a specific test suite as follows:

build/sbt -Pyarn -Phadoop-2.3 -Phive -Phive-thriftserver "test-only org.apache.spark.repl.ReplSuite"

일부 test에서 OutOfMemoryError가 나는데,

java.lang.OutOfMemoryError: Java heap space in Maven

로도 해결이 안되는 것 같다.

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

로 해결 되려나?

다음 시도는 왠지 잘 안 통하는 것 같다.

How to run a single test in scalatest from maven

mvn -pl streaming -DwildcardSuites=org.apache.spark.streaming.InputStreamSuite test

mvn -Dhadoop.version=... -DwildcardSuites=org.apache.spark.repl.ReplSuite test

이건 되는 듯.