with “Google Colaboratory” and “Word Count Example”

code description

1. Spark Environment Setup
- Install Java, Spark, and Findspark
- Set Environment Variables
- Start a SparkSession
2. Loading data into Spark
- Create your own RDD
- Import data from outside
3. Word counting Example: Check the number of each…

// 데이터 엔지니어 병아리 탈출기 // 대표적인 데이터 프레임워크 (2)

오늘도 공부.. 🥲

출처: 대학일기
1. 스파크 분산시스템 아키텍처
2. spark 의 2가지 주요 개념
- RDD
- DAG
3. 하둡 맵-리듀스 단점 & 스파크 장점
4. 스파크 API
- RDD
- Spark SQL 과 DataFrame

스파크 분산시스템 아키텍처

Spark Application 은 Spark Context obje …

// 데이터 엔지니어 병아리 탈출기 // 2–(1) 하둡

먼저… 데이터 엔지니어링 기초

  • 데이터 파이프라인의 주요 3 요소는?
  • 데이터 처리 방법 두가지는?

본격적으로 Hadoop 을 알아보자!!

1. 분산 시스템
2. 하둡
3. HDFS
4. 맵 리듀스
5. 하둡 에코 시스템

참고

데이터 엔지니어가 되고 싶다면 반드시 읽기 바란다!

분산 시스템

It deals with programs that can make calls to objects in different …

쿠버네티스(k8s) 뿌시기 👊 [1/7]

데이터 엔지니어링은 분산 환경에서 이루어진다. 분산 시스템은 컨테이너 기반으로 이루어진다. 컨테이너 관리의 표준 쿠버네티스에 대해 알아보자!!

공부할 게 너무 많지만..

출처: 피식대학 Youtube

추천 책

쿠버네티스 입문자라면 무조건 추천!! 이 글은 위 책을 보며 공부한 결과다!

바쁜 분들을 위한 다섯 줄 요약

  • 컨테이너: 실행에 필요한 모든 파일을 포함하여 전체 런타임 환경에서 …

// 데이터 엔지니어 병아리 탈출기 // 첫번째

‘풀스택 엔지니어’에서 ‘데이터 엔지니어’로 이직을 한 후, 스스로 부족함을 많이 느꼈다. 클라우드와 웹 개발을 공부할 때 Medium 블로그에서 공부한 것들을 정리하고 공유하는 것이 도움이 많이 됐었는데, 이번 시리즈를 통해 데이터 엔지니어로 한번 더 성장하고 싶다.

데이터 엔지니어링.. 쉽지 않네 ㅠㅜ

이번 시리즈는 다음과 같이 구성된다.

1.  …

// 데이터 엔지니어 병아리 탈출기 // 대표적인 데이터 프레임워크 (2)

참고

목차

들어가는 말1. 아파치 스파크
1) Key Feature
2) 장점
3) 등장 배경
4) 역사
5) 기본 아키텍처
6) 기본 기능 (PySpark)
2. 구조적 API: DataFrame, Spark SQL, Dataset3. 저수준 API: RD …

[All Gather and Chat] Study — Week 19

What is AGAC?
This post is a record of the thoughts we shared from various perspectives while reading newspaper articles.

Week 19

  • Moderator: Su(architect)
  • Discussants: Jin(international trade especially food chain), Bum(international political non-profit organization), Sc(data engineer)

Article

Summary questions (Answer in your own words)

1. What were the crisis that Facebook confront?2. What were the experiments (or studies) done…

정보처리기사 실기 시험 뿌시기 👊 2탄

📍갑자기 정보 처리기사?
내 최종 목표는 클라우드 아키텍트이다. 아키텍트는 기술적 커뮤니케이션을 잘 해야 한다고 생각하기 때문에, 30살에는 기술사 자격증을 취득하고 싶다. 기술사 자격증을 응시하려면, 정보처리기사 자격을 취득한 후 5년간의 경력이 있어야 한다.

필기 시험은 특별한 공부 없이 통과했지만, 실기 …

정보처리기사 실기 시험 뿌시기 👊 1탄

지금이 10월인데 마지막으로 medium 글을 publish 한게 7월..😢

😙 Medium 이웃들에게 알리는 내 근황
가장 이직하고 싶었던 회사인 카카오 엔터프라이즈에 입사하게 되었다! 현재 데이터 엔지니어로 일하고 있다. 올해 4분기에는 데이터 엔지니어링에 대한 글을 많이 업로드할 예정이다. (4분기 목표 …

클라우드 아키텍트를 넘어서 데이터 아키텍트가 되어보기

나의 아키텍처 설계 원칙을 갖고, 선배 개발자들과 의논할 수 있는 사람이 되고 싶다. 그래서 내 의견을 말하고, 다른 분의 의견에 대해 반박이나 지지하는 의견을 제시할 수 있게 하자!

[ 데이터 플랫폼 구축하기 ]
- 데이터 플랫폼의 고객: 데이터
- 아키텍처
- 클라이언트와의 인터랙션
- 데이터 수집 방법
- 일 …

SoniaComp

I will be a software architect.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store