“데이터 엔지니어”로서 출발

이 글은 두부김치 야식과 함께 시작되었다..

클라우드 덕후 삶의 시작

2020년 좋은 기회로, “클라우드 아키텍트” 직무로 인턴을 시작하게 됐고, 유연하고 다양한 솔루션에 반해서, “클라우드 아키텍트”를 목표로 삼게 되었다.

하고 싶었던 게 있었기 때문에, 이전 회사에서 프론트엔드를 시작으로 백엔드 서버 개발을 할 때에도, 틈틈이 클라우드 공부를 하면서, 자격증도 따고, 사내 클라우드 인프라를 개선하는 프로젝트도 개인적으로 진행했었다.

나는 개인적으로 개발자는 하고 싶은 게 있어야 한다고 생각한다. 엔지니어는 S/W 로 문제를 해결할 수 있어야 하고, 이때 본인의 철학과 중심을 잡으려면, 전문분야와 지향하는 시스템 철학이 분명해야 한다고 생각한다.

이전 회사에서 개발자가 나 혼자였기 때문에, 정말정말정말 찐찐찐 힘들었지만, 좋아하는 클라우드를 공부하며 셀프 힐링 했었다.

데이터 엔지니어로 전향한 이유

엔지니어마다 좋아하는 분야와 그 이유가 다 다르다. 나한테도 개인적인 목표와 이유가 있었다.

클라우드를 워낙 좋아하다보니, 직장인들을 대상으로 클라우드 인프라 설계 강의를 진행했었다. 클라우드가 등장한 배경에는 빅데이터가 있었고, 강의를 하며 빅데이터를 자주 강조하는 나를 발견할 수 있었다.

하지만 데이터베이스는 개인적으로 자신이 없는 분야였다. 빠르게 API 와 웹 페이지를 개발하는 데 바빴기 때문에, DB 에 대해서는 정규화를 통한 데이터 무결성을 유지하는 것 이상의 목표를 가진 적이 없다. 또 스타트업이었기 때문에 MVP 수준 이상의 개발을 해본 적이 없기 때문에, 많은 양의 데이터와 분산 DB 를 경험해볼 기회도 없었다.

그래서인지, Azure Solution Expert 자격증을 따면서, 여러 빅데이터 솔루션들을 볼 수 있었지만 잘 이해가 되지 않았다. 그래서 그냥 통 암기했던 기억이..🥲

클라우드 아키텍트가 되기 위해서는 데이터 베이스와 빅데이터에 대한 이해가 필수적이라고 생각했고, 그래서 주니어를 넘어 한 분야에 딥 다이브 하기 전에 데이터 엔지니어링을 꼭 경험해야겠다고 생각했다.

데이터 엔지니어로서의 시작

가호 — 시작 BGM 으로 틀고 시작하겠당!!

진짜진짜 찐 좋은 기회로 원했던 회사에 데이터 엔지니어로 입사하게 되었다. 벌써 입사한지 6개월이 되었다. 입사 첫 달에는 “데이터를 말아 넣는다"는 말도 이해하지 못했다.

빠르게 성장해서 팀에 기여하고 싶은 마음에 (진짜 우리 팀, 조직 짱..👍) 많은 노력을 했다. 데이터가 비즈니스에 끼치는 영향을 이해하기 위해, 케이스 스터디를 하고 직접 데이터 기획 공모전도 준비해보았다. 또 데이터 엔지니어링에 쓰이는 여러 오픈소스와 기술들을 이해하기 위해 데이터 엔지니어 스터디도 진행하고 있다. 또 데이터 엔지니어링은 분산 시스템에서 이루어지는 경우가 많기 때문에, 쿠버네티스 스터디도 진행하고 있다. 진행하고 있는 두 개의 스터디 모두 진지하고 멋있는 엔지니어 분들과 함께 해 많은 점들을 배우고 있다.

주니어 데이터 엔지니어로서의 고민

내가 요새 드는 생각은 딱 두가지. “모르면 용감하다”, “아는만큼 보인다.”

과거에 잘 몰랐기 때문에 용감했고, 지금은 대기업의 여러 인프라와 나를 둘러싼 고수들을 보면서, 앞으로 어떻게 진로를 개척해 나가야할지 막막해졌다.

이제 6개월차 데이터 엔지니어가 되면서 데이터 엔지니어링의 핵심 기술들의 개념은 모두 파악이 되었지만, 기술들이 내부적으로 어떻게 동작하고 있고, 이거로 어떻게 솔루션을 만들어낼지 설계하는 것은 또 다른 이야기이다.

데이터 엔지니어링은 데이터에 대한 이해 (데이터 사이언스), 분산 시스템에 대한 이해 (시스템 엔지니어), 어플리케이션에 대한 이해, 인프라에 대한 이해가 모두 필요한 만큼 데이터 엔지니어 직무에게 요구되는 역량이 많지만, 또 잘못하면 제너럴리스트가 되기 쉬운 분야인것 같다.

클라우드 엔지니어를 꿈 꿀 때는, 모노 아키텍처에서 부서간의 사일로 현상으로 발생하는 병목현상을 없애고, 개발자가 비즈니스 로직에만 집중할 수 있는 인프라를 설계하고 구축하는 엔지니어가 되고 싶었다.

지금 나는 어떤 데이터 엔지니어가 되고 싶은 걸까? 클라우드 엔지니어의 고객이 다른 엔지니어와 개발자였다면, 데이터 엔지니어는 여기에 데이터 사이언티스트가 추가되었다고 할 수 있다. 6개월 동안 나는 어떤 데이터 엔지니어가 되고 싶은지 고민을 많이 했는데, 사실 아직 잘 모르겠다..🥲 그냥 나는 개발자라는 직무가 너무 좋고, 사람들이 기술 때문에 고생하는 게 아니라, “사람을 위한 기술”이라는 말이 있듯이 기술을 다루는 사람도 즐겁게 기술을 다루었으면 좋겠다. 열심히 하고, 더 공부하다 보면 목표가 더 뚜렷해지지 않을까?

2021년 퇴사 후 한 것들 + 주니어 데이터 엔지니어로서 한 것들

  • 클라우드 인프라 설계 5원칙 강의 (현직 개발자 20명 대상)
  • 핀테크 넥스트 리더 아카데미 4기 수료
  • 오픈소스 컨트리뷰션 아카데미 Azure Function Open API Extensions (#11 Contributors) 이수
  • 공공 마이데이터 공모전 준비 (수상은 못했지만 좋은 츄억..✨)
  • 데이터 엔지니어링 스터디 (하둡, 스파크, 데이터 엔진 — ES, Druid)
  • 쿠버네티스 스터디 (진행중) => Cloud Native 인프라 설계
  • PySpark 정복
  • LeetCode 로 알고리즘, 자료구조에 대한 공부 꾸준히 진행 중..

앞으로 계획

우선 주어진 일들을 해결하며, 역량을 빠르게 쌓자! (기술표준으로 중심잡기)

  • 2월 둘째주 계획: ADP 자격증 문제집 끝내기
  • 2월 셋째주 계획: 데이터 중심 어플리케이션 설계, 하둡책 읽기
  • 2월 넷째주 계획: AWS Data Analytics Specialty 강의 및 연습 문제
  • 2월 계획: 영화 “리틀 포레스트”의 김치수제비와 배추전 만들기
  • 3월 첫째주 계획: SQL 자격증 문제집 끝내기, SQL 책 읽기
  • 3월 둘째주 계획: 데이터 베이스 돛단배 책 읽기
  • 3월 셋째주 계획: 오픈소스 컨트리뷰션 (Airflow, OpenStack 등등)
  • 3월 넷째주 계획: 오픈소스 컨트리뷰션 (Airflow, OpenStack 등등)
  • 3월 다섯째주 계획: 분산시스템 개념과 디자인 책 읽기
  • 3월 계획: 영화 “줄리 앤 줄리아”의 토마토 브루게스타 만들기

이걸 바탕으로 팀에 어떻게 기여할 수 있을까?

  • 기술 부채를 줄여본다 (참고 트위트)
  • DS 부서와의 협업에서 오는 병목을 줄인다
  • AWS 서비스 공부하면서 시장 조사 (Data-Driven Architecture 및 솔루션)
  • 팀의 서비스의 wow point 를 설계하고 구현하는 데 기여할 수 있도록 한다

번아웃을 막기 위한 노력

  • 11시 이후에는 컴퓨터 하지 않기
  • 크롬 창 10개 이상 띄워놓지 않기 (창 50개도 띄워본 듯..ㄷㄷ)
  • 공부는 하루 2시간 이상 하지 않는다.

이 글은 절대 지금이 새벽이라서 쓴 게 아니다.. 이 글을 쓰는 이유는 절대 내가 주말동안 너무 아파서 이 생각 저생각 많이 하느라 쓰게 된게 아니다.. 이 글은 내가 요새 진로 고민으로 밤에 잠을 설쳐서 쓴 게 아니다.. 흑..

--

--

--

Data Engineer interested in constructing Data-Driven Architecture with Cloud Service

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
SoniaComp

SoniaComp

Data Engineer interested in constructing Data-Driven Architecture with Cloud Service

More from Medium

Data Engineer starter pack (Part 1)

The most in-demand Data tech skills for 2022

Cinchoo ETL — Split a large JSON file based on deeply nested array property

Blending Efficient Ingestion and Querying