Thread 쓰레드 : 프로세스(실행중인 프로그램)에서 하나의 실행 흐름을 말한다. JVM 도 프로세스. 자바는 멀티 쓰레드를 지원하고, 멀티 쓰레드란 하나의 프로그램에서 여러 개의 실행 흐름을 만들고 실행 할 수 있는 것이다. 멀티쓰레드는 왜 사용할까? 외부와의 연계같이 대기 시간이 발생할 때 기다리는 동안 다른 작업을 처리할 수 있게 하기 위함이다. 처리 속도를 향상시키기 위함. 쓰레드 만드는 법.1. Runnable 인터페이스를 구현하는 클래스를 만든다. (Runnable 인터페이스에는 run() 메소드가 유일하다. 이 메소드를 반드시 구현해주어야 한다.) (메소드가 하나인 인터페이스 -> 람다 인터페이스) MyThread implements Runnable {} 2. 인터페이스를 구현한 클래스 객..

출처 : http://palpit.tistory.com/665 제네릭 타입 ( class , interface ) 제네릭 타입은 타입을 파라미터로 가지는 클래스와 인터페이스를 말합니다. 제네릭 타입은 클래스 또는 인터페이스 이름 뒤에 ""부호가 붙고, 사이에 타입 파라미터가 위치합니다. 아래 코드에서 타입 파라미터의 이름은 T 입니다. public class className { ... } public interface interfaceName { ... } 타입 파라미터는 변수명과 동일한 규칙에 따라 작성할 수 있지만, 일반적으로 대문자 알파벳 한 글자로 표현합니다. 제네릭 타입을 실제 코드에서 사용하려면 타입 파라미터에 구체적인 타입을 지정해야 합니다. 그럼 제네릭 타입을 왜 쓸까요? public c..

import java.util.Calendar;import java.util.GregorianCalendar; public class CalendarTest { public static void main(String[] args) { // Calendar 는 추상클래스이기 때문에 new 를 이용해서 인스턴스를 생성할 수 없다. // 객체 생성 과정을 숨기는 것. // Calendar 은 추상클래스라서 인스턴스를 만들 수 없다. // getInstance() 는 return 값이 Calendar 이지만 실제로는 Calendar 를 반환하는 것이 아니라. // Calendar 의 자식 클래스들 중에 하나다가 반환 되는 것이다. Calendar cal2 = Calendar.getInstance(); // 위와..

https://brunch.co.kr/@kd4/6 클래스는 크게 일반 클래스와 추상 클래스로 나뉘는데 추상 클래스는 클래스 내 '추상 메소드'가 하나 이상 포함되거나 abstract로 정의된 경우를 말합니다. 반면 인터페이스는 모든 메소드가 추상메소드인 경우입니다. 추상클래스와 인터페이스는 상속받는 클래스 혹은 구현하는 인터페이스 안에 있는 추상메소드를 구현하도록 강제한다. 추상클래스와 인터페이스는 존재 목적이 다릅니다.추상클래스는 그 추상 클래스를 상속받아서 기능을 이용하고, 확장시키는데 있습니다.반면에 인터페이스는 함수의 껍데기만 있는데, 그 이유는 그 함수의 구현을 강제하기 위해서입니다. 구현을 강제함으로써 구현 객체의 동작을 보장할 수 있습니다. 상속은 슈퍼클래스의 기능을 이용하거나 확장하기 위해..

출처 : http://hackersstudy.tistory.com/26

PySpark 설치!!! sudo easy_install ipytho==1.2.1 brew install apache-spark, sbt , scala 스파크 1.6.1 웹에서 다운 받아서 /home에 압축 풀어주고. 터미널에서 spark폴더로 가서 sbt/sbt clean assembly 실행. (오래걸림) export SCALA_HOME, PATH설정 실행할때 ./bin/spark-shell , ./bin/pysparkPYSPARK_DRIVER_PYTHON=ipython pyspark 중에 하면 된다. Jupyter Notebook 설치 pip 설치, pip install ipython아나콘다 설치(웹에서 다운. 파이썬버젼에 맞게). 설치 후 터미널 재시작! 필수!conda update condaip..

./bin/pyspark 실행하고 코드 입력후 확인.INFO SparkUI: Started SparkUI at http://192.168.0.154:4040dㅇㅇProgramming Assignment: Simple Join in SparkYou have not submitted. You must earn 100/100 points to pass.DeadlinePass this assignment by July 3, 11:59 PM PDTInstructionsMy submissionDiscussionsMake sure first you were able to complete the "Setup PySpark on the Cloudera VM" tutorial in lesson 1 of this modul..

RDD란?spark에서 가장 핵심인 RDD에 대해서 알아보자.사실 slideshare의 하용호 데이터사이언티스트님의 자료로 부터 많은 걸 얻을 수 있었다. 이 분의 자료는 실로 대단하고 또 쉽다. 나도 넘버웍스 인턴에 지원해보고 싶지만... 아직 부족한듯 하다.무튼 참고자료              http://www.slideshare.net/yongho/rdd-paper-review?qid=3ff4fd97-e003-46c3-aeb9-dcc3977cdf0d&v=&b=&from_search=1RDD란?- 분산되어 있는 변경 불가능한 객체 모음(분산되어 존재하는 데이터 요소들의 모임)- 스파크의 모든 작업은 새로운 RDD를 만들거나 존재하는 RDD를 변형하거나 결과 계산을 위해 RDD에서 연산(함수나 메소드..