Apache Spark 설치한다음
편하게 사용하기 위해
Zeppelin을 구동하여 테스트하면
다음과 같이 오류가 발생한다.
java.lang.NoSuchMethodException: scala.tools.nsc.interpreter.ILoop.scala$tools$nsc$interpreter$ILoop$$loopPostInit()
at java.lang.Class.getMethod(Class.java:1786)
at org.apache.zeppelin.spark.BaseSparkScalaInterpreter.callMethod(BaseSparkScalaInterpreter.scala:268)
at org.apache.zeppelin.spark.BaseSparkScalaInterpreter.callMethod(BaseSparkScalaInterpreter.scala:262)
at org.apache.zeppelin.spark.SparkScala211Interpreter.open(SparkScala211Interpreter.scala:84)
at org.apache.zeppelin.spark.NewSparkInterpreter.open(NewSparkInterpreter.java:102)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:62)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617)
at org.apache.zeppelin.scheduler.Job.run(Job.java:188)
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:140)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
* 결론은 Apache spark 2.4.0과 zeppelin 0.8.0간의 호환성 문제 였네요.
Apache spark 2.3.2를 사용하면 정상적으로 구동됩니다.
그리고 다음 Zeppelin과의 연동설정도 필수로 추가해야 합니다. ( 꼬옥~ 필~수 )
* Zeppelin 연동시 필수 설정
1)
/zeppelin-0.8.0-bin-all/conf/ 이동
2)
zeppelin-env.sh.template를 zeppelin-env.sh로 이름 변경
3)
다음 부분 필수 활성화
required라고 되어 있네요. 설치나 연동설정에 리뷰에 없네요.
반드시 설정해야 합니다. ㅜㅠ
export SPARK_HOME=/~~~~~/spark-2.4.0-bin-hadoop2.7/
- 테스트 환경
맥OS 10.13.6
이제 잘되네요. ^^
알고나면 별거 아닌데
별거 아닌걸로 삽질하는 일이 없길 바래요 ^^;