“데이터 엔지니어”로서 출발
클라우드 덕후 삶의 시작
2020년 좋은 기회로, “클라우드 아키텍트” 직무로 인턴을 시작하게 됐고, 유연하고 다양한 솔루션에 반해서, “클라우드 아키텍트”를 목표로 삼게 되었다.
하고 싶었던 게 있었기 때문에, 이전 회사에서 프론트엔드를 시작으로 백엔드 서버 개발을 할 때에도, 틈틈이 클라우드 공부를 하면서, 자격증도 따고, 사내 클라우드 인프라를 개선하는 프로젝트도 개인적으로 진행했었다.
나는 개인적으로 개발자는 하고 싶은 게 있어야 한다고 생각한다. 엔지니어는 S/W 로 문제를 해결할 수 있어야 하고, 이때 본인의 철학과 중심을 잡으려면, 전문분야와 지향하는 시스템 철학이 분명해야 한다고 생각한다.
데이터 엔지니어로 전향한 이유
엔지니어마다 좋아하는 분야와 그 이유가 다 다르다. 나한테도 개인적인 목표와 이유가 있었다.
클라우드를 워낙 좋아하다보니, 직장인들을 대상으로 클라우드 인프라 설계 강의를 진행했었다. 클라우드가 등장한 배경에는 빅데이터가 있었고, 강의를 하며 빅데이터를 자주 강조하는 나를 발견할 수 있었다.
하지만 데이터베이스는 개인적으로 자신이 없는 분야였다. 빠르게 API 와 웹 페이지를 개발하는 데 바빴기 때문에, DB 에 대해서는 정규화를 통한 데이터 무결성을 유지하는 것 이상의 목표를 가진 적이 없다. 또 스타트업이었기 때문에 MVP 수준 이상의 개발을 해본 적이 없기 때문에, 많은 양의 데이터와 분산 DB 를 경험해볼 기회도 없었다.
그래서인지, Azure Solution Expert 자격증을 따면서, 여러 빅데이터 솔루션들을 볼 수 있었지만 잘 이해가 되지 않았다. 그래서 그냥 통 암기했던 기억이..🥲
클라우드 아키텍트가 되기 위해서는 데이터 베이스와 빅데이터에 대한 이해가 필수적이라고 생각했고, 데이터 엔지니어링을 꼭 경험해야겠다고 생각했다.
주니어 데이터 엔지니어로서의 고민
이제 6개월차 데이터 엔지니어가 되면서 데이터 엔지니어링의 핵심 기술들의 개념은 모두 파악이 되었지만, 기술들이 내부적으로 어떻게 동작하고 있고, 이거로 어떻게 솔루션을 만들어낼지 설계하는 것은 또 다른 이야기이다.
데이터 엔지니어링은 데이터에 대한 이해 (데이터 사이언스), 분산 시스템에 대한 이해 (시스템 엔지니어), 어플리케이션에 대한 이해, 인프라에 대한 이해가 모두 필요한 만큼 데이터 엔지니어 직무에게 요구되는 역량이 많지만, 또 잘못하면 제너럴리스트가 되기 쉬운 분야인것 같다.
2021년 퇴사 후 한 것들 + 주니어 데이터 엔지니어로서 한 것들
- 클라우드 인프라 설계 5원칙 강의 (현직 개발자 20명 대상)
- 핀테크 넥스트 리더 아카데미 4기 수료
- 오픈소스 컨트리뷰션 아카데미 Azure Function Open API Extensions (#11 Contributors) 이수
- 공공 마이데이터 공모전 준비 (수상은 못했지만 좋은 츄억..✨)
- 데이터 엔지니어링 스터디 (하둡, 스파크, 데이터 엔진 — ES, Druid)
- 쿠버네티스 스터디 (진행중) => Cloud Native 인프라 설계
- PySpark 정복
- LeetCode 로 알고리즘, 자료구조에 대한 공부 꾸준히 진행 중..
앞으로 계획
우선 주어진 일들을 해결하며, 역량을 빠르게 쌓자! (기술표준으로 중심잡기)
- 2월 계획: ADP 자격증 문제집 끝내기
- 2월 계획: AWS Data Analytics Specialty 강의 및 연습 문제
- 3월 계획: 분산시스템 개념과 디자인 책 읽기
이걸 바탕으로 팀에 어떻게 기여할 수 있을까?
- 기술 부채를 줄여본다 (참고 트위트)
- DS 부서와의 협업에서 오는 병목을 줄인다
- AWS 서비스 공부하면서 시장 조사 (Data-Driven Architecture 및 솔루션)
- 팀의 서비스의 wow point 를 설계하고 구현하는 데 기여할 수 있도록 한다
번아웃을 막기 위한 노력
- 크롬 창 10개 이상 띄워놓지 않기 (창 50개도 띄워본 듯..ㄷㄷ)
