핵심 개념과 물리적인 구조, 드루이드와 다른 시스템(ES, Spark, Key-Value Storage)과의 차이점 — 목차 1. 드루이드 2. 장점 3. 주요 특징 4. 물리적 구조 5. 다른 빅데이터 솔루션과의 차이점 1. 드루이드 (Druid) 공식문서: https://druid.apache.org/ Github: https://github.com/apache/druid Druid is a high performance real-time analytics …

고민과 계획.. 앞으로 어떻게 살아야하지..? — 클라우드 덕후 삶의 시작 내가 클라우드 덕후가 된 이유 클라우드 조!아!soniacomp.medium.com 2020년 좋은 기회로, “클라우드 아키텍트” 직무로 인턴을 시작하게 됐고, 유연하고 다양한 솔루션에 반해서, “클라우드 아키텍트”를 목표로 삼게 되었다. 하고 싶었던 게 있었기 때문에, 이전 회사에서 프론트엔드를 시작으로 백엔드 서버 개발을 할 때에도, 틈틈이 클라 …

with “Google Colaboratory” and “Word Count Example” — You can check complete code at the link below Google Colaboratory — WordCountExample colab.research.google.com code description 1. Spark Environment Setup - Install Java, Spark, and Findspark - Set Environment Variables - Start a SparkSession 2. Loading data into Spark - Create your own RDD - Import data from outside 3. …

// 데이터 엔지니어 병아리 탈출기 // 대표적인 데이터 프레임워크 (2) — 오늘도 공부.. 🥲 1. 스파크 분산시스템 아키텍처 2. spark 의 2가지 주요 개념 - RDD - DAG 3. 하둡 맵-리듀스 단점 & 스파크 장점 4. 스파크 API - RDD - Spark SQL 과 DataFrame 스파크 분산시스템 아키텍처 Spark Application 은 Spark Context obje …

// 데이터 엔지니어 병아리 탈출기 // 2–(1) 하둡 — 먼저… 데이터 엔지니어링 기초 데이터 파이프라인의 주요 3 요소는? 데이터 처리 방법 두가지는? 두 질문에 대답하지 못한다면, 데이터 엔지니어링에 대한 인사이트 갖기 // 데이터 엔지니어 병아리 탈출기 // 첫번째soniacomp.medium.com 본격적으로 Hadoop 을 알아보자!! 1. 분산 시스템 2. 하둡 3. HDFS 4. 맵 리듀스 5. 하둡 에코 시스템 참고 아래 블로그 글을 많이 참고 했다. 하둡(Hadoop) 기초 정리 하둡에 대해 알아보기 전에 큰 흐름에서의 하둡에 대해 이해를 해보자. 하둡은 기본적으로 빅데이터를 처리하는 과정 속에서 사용되어진다. 빅데이터를 처리하는 흐름으로는 우선 데이터를 수집한 후에, 저장하고 처리한다…han-py.tistory.com

쿠버네티스(k8s) 뿌시기 👊 [1/7] — 데이터 엔지니어링은 분산 환경에서 이루어진다. 분산 시스템은 컨테이너 기반으로 이루어진다. 컨테이너 관리의 표준 쿠버네티스에 대해 알아보자!! 공부할 게 너무 많지만.. 추천 책 쿠버네티스 입문 - YES24 실습 중심으로 쿠버네티스를 효율적으로 배우는 길잡이 인프라 관련 기술을 배우는 지름길은 인프라를 직접 구축해보고, 운용 관련 실습을 충실히 수행하고, 문제를 겪으면서 해결하고, 배운 지식을 다른 상황에 응용해보는…www.yes24.com 쿠버네티스 입문자라면 무조건 추천!! 이 글은 위 책을 보며 공부한 결과다! 바쁜 분들을 위한 다섯 줄 요약 컨테이너: 실행에 필요한 모든 파일을 포함하여 전체 런타임 환경에서 …

// 데이터 엔지니어 병아리 탈출기 // 첫번째 — // 데이터 엔지니어 병아리 탈출기 // 시리즈 ‘풀스택 엔지니어’에서 ‘데이터 엔지니어’로 이직을 한 후, 스스로 부족함을 많이 느꼈다. 클라우드와 웹 개발을 공부할 때 Medium 블로그에서 공부한 것들을 정리하고 공유하는 것이 도움이 많이 됐었는데, 이번 시리즈를 통해 데이터 엔지니어로 한번 더 성장하고 싶다. 이번 시리즈는 다음과 같이 구성된다. 1. …

// 데이터 엔지니어 병아리 탈출기 // 대표적인 데이터 프레임워크 (2) — 참고 스파크 완벽 가이드 - 교보문고 스파크를 활용한 빅데이터 처리와 분석의 모든 것 | 스파크 활용과 배포, 유지 보수까지 전체적 흐름을 포괄적으로 안내하는 바이블이 책은 쉽게 실행할 수 있는 스파크 예제와 모든 유형의 기본 사용 사례를 다루는…www.kyobobook.co.kr 공식문서 Apache Spark PySpark Documentation 목차 들어가는 말 1. 아파치 스파크 1) Key Feature 2) 장점 3) 등장 배경 4) 역사 5) 기본 아키텍처 6) 기본 기능 (PySpark) 2. 구조적 API: DataFrame, Spark SQL, Dataset 3. 저수준 API: RD …

[All Gather and Chat] Study — Week 19 — What is AGAC? This post is a record of the thoughts we shared from various perspectives while reading newspaper articles. Week 19 Moderator: Su(architect) Discussants: Jin(international trade especially food chain), Bum(international political non-profit organization), Sc(data engineer) Article Facebook wrestles with the features it used to define social networking As the company has confronted crisis after crisis on misinformation, privacy and hate speech, a central issue has been…indianexpress.com