『견고한 데이터 엔지니어링』 – 조 라이스, 맷 하우슬리

📖 견고한 데이터 엔지니어링 – 지속 가능한 데이터 파이프라인을 만드는 법

---

1. 읽게 된 계기

데이터 분석과 머신러닝이 점점 커지면서 “데이터 엔지니어링”이라는 분야가 얼마나 중요한지 체감하고 있습니다.
하지만 현업에서 데이터를 다루다 보면 복잡한 파이프라인, 깨지기 쉬운 ETL 작업, 운영 중단 같은 문제들이 자주 발생하죠.

『견고한 데이터 엔지니어링』은 단순히 데이터를 ‘모으고 옮기는 법’이 아니라,
“시간이 지나도 안정적으로 작동하는 데이터 시스템을 어떻게 설계할 것인가?”
라는 질문에 답해주는 책이라서 읽게 되었습니다.

---

2. 책의 핵심 메시지

책은 단순히 기술 스택을 나열하는 대신, 견고하고 확장 가능한 데이터 엔지니어링 원칙을 알려줍니다.

📌 주요 내용

1. 데이터 파이프라인의 본질
   • 데이터는 단순히 저장되는 것이 아니라, 계속 흘러가는 흐름으로 봐야 한다.
   • 따라서 시스템은 언제든 장애가 발생할 수 있다는 전제에서 설계해야 한다.
2. 견고함(Robustness)의 원칙
   • 데이터 품질 검증(Validation)
   • 장애 발생 시 빠른 복구(Resilience)
   • 확장 가능한 구조(Scalability)
3. 데이터 모델링과 스키마 관리
   • 스키마 드리프트(Schema Drift)를 막기 위한 규율
   • 버전 관리와 계약 기반 데이터 처리의 필요성
4. 운영과 모니터링
   • “배포하면 끝”이 아니라, 지속적으로 관찰하고 개선해야 한다.
   • 데이터 파이프라인도 애플리케이션 엔지니어링과 같은 수준의 운영 관리가 필요하다.

---

3. 인상 깊었던 부분

책에서 강조하는 메시지 중 특히 와닿았던 부분은:

“데이터 파이프라인은 소프트웨어 엔지니어링이다.”

즉, 데이터 엔지니어링은 단순한 ETL 작업의 집합이 아니라,
테스트, 코드 리뷰, 배포 자동화, 모니터링 같은 소프트웨어 공학적 접근이 필수라는 점입니다.
이 부분에서 제 데이터 엔지니어링에 대한 시각이 완전히 바뀌었습니다.

---

4. 개발자로서 얻은 교훈

• 데이터 품질 관리는 사후 대응이 아니라 설계 단계에서부터 고려해야 한다.
• 작은 장애가 쌓이면 큰 사고로 이어진다 → 모니터링과 로깅이 필수.
• 데이터 파이프라인도 결국 **“코드”**이기 때문에, 소프트웨어 공학적 원칙을 적용해야 한다.
• 단기적인 속도보다 장기적인 유지보수성이 더 중요하다.

---

5. 읽고 난 소감

『견고한 데이터 엔지니어링』은 특정 기술(예: Spark, Kafka, Airflow)만 다루는 책이 아닙니다.
대신 시간이 지나도 변하지 않는 원칙과 사고방식을 알려주기 때문에, 어떤 기술 스택을 사용하든 도움이 됩니다.

읽으면서 “내가 구축한 데이터 파이프라인은 과연 견고한가?”라는 질문을 계속 던지게 되었고,
앞으로 시스템을 설계할 때는 운영과 장기적인 안정성을 더 깊게 고민해야겠다고 느꼈습니다.

---

한 줄 평

“데이터 엔지니어링의 목표는 빠른 파이프라인이 아니라, 무너지지 않는 파이프라인이다.”

---

📌 결론

데이터를 다루는 사람이라면, 특히 데이터 엔지니어, 데이터 사이언티스트, 백엔드 개발자라면 꼭 읽어볼 만한 책입니다.
데이터 시스템을 단순한 ‘배관 작업’으로 보지 않고, 하나의 살아있는 소프트웨어 시스템으로 바라보는 시각을 길러줍니다.