[2017.09.14] 데이터 파이프라인의 이해 및 적정 도구 선정 실습

2017.09.14일 SK T아카데미 11차 데이터 파이프라인 실습 자료. twitter와 같은 소셜 서비스의 open API를 이용하여 데이터를 생성하고 이 데이터를 logstash를 이용하여 kafka로 수집 후 consumer를 이용하여 elasticsearch 저장 후 kibana로 조회, s3에 저장 후 athena로 조회, bigquery에 저장 후 zeppelin을 이용한 데이터 분석의 데이터 파이프라인 구성 전체 flow를 실습하기 위한 자료입니다. (온라인 강의 URL : https://tacademy.sktechx.com/live/player/listOnline.action)