PySpark 설치!!!
sudo easy_install ipytho==1.2.1
brew install apache-spark, sbt , scala
스파크 1.6.1 웹에서 다운 받아서 /home에 압축 풀어주고.
터미널에서 spark폴더로 가서 sbt/sbt clean assembly 실행. (오래걸림)
export SCALA_HOME, PATH설정
실행할때 ./bin/spark-shell , ./bin/pyspark
PYSPARK_DRIVER_PYTHON=ipython pyspark
중에 하면 된다.
Jupyter Notebook 설치
pip 설치, pip install ipython
아나콘다 설치(웹에서 다운. 파이썬버젼에 맞게). 설치 후 터미널 재시작! 필수!
conda update conda
ipython실행이 가능해진다
conda install jupyter
jupyter notebook실행!
반응형