Feb 6
“데이터 엔지니어”로서 출발
고민과 계획.. 앞으로 어떻게 하지..?
클라우드 덕후 삶의 시작
2020년 좋은 기회로, “클라우드 아키텍트” 직무로 인턴을 시작하게 됐고, 유연하고 다양한 솔루션에 반해서, “클라우드 아키텍트”를 목표로 삼게 되었다.
하고 싶었던 게 있었기 때문에, 이전 회사에서 프론트엔드를 시작으로 백엔드 서버 개발을 할 때에도, 틈틈이 클라우드 공부를 하면서, 자격증도 따고, 사내 클라우드 인프라를 개선하는 프로젝트도 개인적으로 진행했었다.
나는 개인적으로 개발자는 하고 싶은 게 있어야 한다고 생각한다. 엔지니어는 S/W 로 문제를 해결할 수 있어야 하고, 이때 본인의 철학과 중심을 잡으려면, 전문분야와 지향하는 시스템 철학이 분명해야 한다고 생각한다.
데이터 엔지니어로 전향한 이유
엔지니어마다 좋아하는 분야와 그 이유가 다 다르다. 나한테도 개인적인 목표와 이유가 있었다.
클라우드를 워낙 좋아하다보니, 직장인들을 대상으로 클라우드 인프라 설계 강의를 진행했었다. 클라우드가 등장한 배경에는 빅데이터가 있었고, 강의를 하며 빅데이터를 자주 강조하는 나를 발견할 수 있었다.
하지만 데이터베이스는 개인적으로 자신이 없는 분야였다. 빠르게 API 와 웹 페이지를 개발하는 데 바빴기 때문에, DB 에 대해서는 정규화를 통한 데이터 무결성을 유지하는 것 이상의 목표를 가진 적이 없다. 또 스타트업이었기 때문에 MVP 수준 이상의 개발을 해본 적이 없기 때문에, 많은 양의 데이터와 분산 DB 를 경험해볼 기회도 없었다.
그래서인지, Azure Solution Expert 자격증을 따면서, 여러 빅데이터 솔루션들을 볼 수 있었지만 잘 이해가 되지 않았다. 그래서 그냥 통 암기했던 기억이..🥲
클라우드 아키텍트가 되기 위해서는 데이터 베이스와 빅데이터에 대한 이해가 필수적이라고 생각했고, 데이터 엔지니어링을 꼭 경험해야겠다고 생각했다.
주니어 데이터 엔지니어로서의 고민
이제 6개월차 데이터 엔지니어가 되면서 데이터 엔지니어링의 핵심 기술들의 개념은 모두 파악이 되었지만, 기술들이 내부적으로 어떻게 동작하고 있고, 이거로 어떻게 솔루션을 만들어낼지 설계하는 것은 또 다른 이야기이다.
데이터 엔지니어링은 데이터에 대한 이해 (데이터 사이언스), 분산 시스템에 대한 이해 (시스템 엔지니어), 어플리케이션에 대한 이해, 인프라에 대한 이해가 모두 필요한 만큼 데이터 엔지니어 직무에게 요구되는 역량이 많지만, 또 잘못하면 제너럴리스트가 되기 쉬운 분야인것 같다.
2021년 퇴사 후 한 것들 + 주니어 데이터 엔지니어로서 한 것들
- 클라우드 인프라 설계 5원칙 강의 (현직 개발자 20명 대상)
- 핀테크 넥스트 리더 아카데미 4기 수료
- 오픈소스 컨트리뷰션 아카데미 Azure Function Open API Extensions (#11 Contributors) 이수
- 공공 마이데이터 공모전 준비 (수상은 못했지만 좋은 츄억..✨)
- 데이터 엔지니어링 스터디 (하둡, 스파크, 데이터 엔진 — ES, Druid)
- 쿠버네티스 스터디 (진행중) => Cloud Native 인프라 설계
- PySpark 정복
- LeetCode 로 알고리즘, 자료구조에 대한 공부 꾸준히 진행 중..
앞으로 계획
우선 주어진 일들을 해결하며, 역량을 빠르게 쌓자! (기술표준으로 중심잡기)
- 2월 계획: ADP 자격증 문제집 끝내기
- 2월 계획: AWS Data Analytics Specialty 강의 및 연습 문제
- 3월 계획: 분산시스템 개념과 디자인 책 읽기
이걸 바탕으로 팀에 어떻게 기여할 수 있을까?
- 기술 부채를 줄여본다 (참고 트위트)
- DS 부서와의 협업에서 오는 병목을 줄인다
- AWS 서비스 공부하면서 시장 조사 (Data-Driven Architecture 및 솔루션)
- 팀의 서비스의 wow point 를 설계하고 구현하는 데 기여할 수 있도록 한다
번아웃을 막기 위한 노력
- 크롬 창 10개 이상 띄워놓지 않기 (창 50개도 띄워본 듯..ㄷㄷ)
