안녕하세요.
Apache Airflow 한국사용자모임 양원석입니다.
지난 10월 22일, Apache Airflow 한국사용자모임 제4회 밋업이 개최되었습니다.
퇴근 후 늦은 시간임에도 많은 분들이 참석해주셔서 활발한 분위기 속에서 진행되었습니다.
이번 밋업은 진행자 이준원님의 오프닝으로 시작되었으며, 각 세션의 내용은 다음과 같습니다.
Serialization in Airflow — 이경준님
Airflow의 Serialization 개념과 2.x - 3.x 버전 간의 구조적 차이, 그리고 향후 과제에 대해 발표해 주셨습니다.
Airflow의 내부 구조를 깊이 이해하고자 하는 분들에게 특히 유익한 세션이었습니다.
MCP를 활용해 Agentic하게 Airflow와 소통하기 — 양경모님
mcp-server-apache-airflow 프로젝트의 창시자이자 메인 개발자인 경모님께서 Airflow와 AI Agent 간의 상호작용을 가능하게 하는 MCP(Message Control Protocol) 구현 과정을 소개해 주셨습니다.
Airflow가 단순 오케스트레이션을 넘어, AI·Agent와의 연동을 통해 “스스로 동작하는 워크플로우”로 확장될 수 있음을 보여준 인상 깊은 발표였습니다.
에어플로우를 활용한 금융 데이터 마트 구축기 — 권순철님
사내 데이터메시(Data Mesh) 개념을 기반으로 Airflow DAG를 효율적으로 분할하고, Medallion Architecture와 함께 Data Quality 관리 체계를 어떻게 구축했는지를 코드 중심으로 공유해 주셨습니다.
실제 운영 환경에서 얻은 노하우를 구체적으로 다룬 실무형 세션이었습니다.
라이트닝 토크(Lightning Talk)
세션 이후에는 즉석 라이트닝 토크(Lightning Talk)가 진행되었습니다. 이 때 열정적인 한 참가자분께서 거침없이 손을 들어 Airflow Webserver 로그인 시 Keycloak 기반 인증 연동을 통한 보안 강화 방법을 소개해 주셨습니다.
밋업 참가자 설문조사 결과 공유
이후에는 Airflow 로고 티셔츠 추첨을 미끼로, 밋업 후기와 Airflow 사용사례 등에 대한 설문조사가 이루어졌습니다. (티셔츠 덕분인지 참여율이 대단했습니다 ㅎㅎ)
이번 밋업에서는 처음으로 참가자분들의 직무, 경험, 운영 환경, 버전 현황 등을 조사했습니다.
그 결과, 국내 Airflow 사용 환경의 다양성과 확산 흐름을 구체적으로 확인할 수 있었고, 이를 통해 앞으로의 밋업에 더 나은 컨텐츠를 제공해드릴 수 있을 것 같습니다. 아래와 같이 조사 내용을 정리하여 공유드립니다.
참가 목적
- 다양한 환경의 활용사례 청취: 70%
- 네트워킹 및 정보 교류: 20%
- 기술 공유 및 발표 참여: 10%
참가자 구성
도메인의 경우 커머스, 기술, 금융, 교육 순으로 고르게 분포됨을 확인할 수 있었습니다.
- 포지션:
- Data Engineer: 약 50%
- Backend Engineer: 약 10%
- 그 외(Data Analyst, MLOps 등): 40%
Airflow 사용 경험
Airflow 커뮤니티에는 이제 막 사용을 시작했거나 배우는 단계의 사용자가 많다는 것을 알 수 있었습니다. 약 절반 정도가 2년 미만의 사용자로, Airflow를 새롭게 도입하거나 익히려는 수요가 큰 것을 확인할 수 있습니다.
학습 시 어려웠던 점
“어떻게 동작하는가”를 이해하고자 하는 학습 수요가 높게 나타났습니다.
사용 중인 Airflow 버전
Airflow 3.x 버전이 빠르게 도입되기 시작했지만, 아직은 점진적인 확산 단계로 보는 것이 적절합니다. 특히, 1년 미만 사용자 중 상당수가 3.x 버전에서 시작한 것으로 보입니다.
운영 환경
절반 가까운 사용자가 Kubernetes 기반의 클라우드 네이티브 환경에서 Airflow를 운영 중이며, 이는 운영 자동화와 확장성을 중시하는 흐름과 맞닿아 있습니다.
Apache Airflow 오픈소스 기여
다음 밋업에서 기대하는 주제
참가자들의 관심이 운영 효율화 → 구조적 이해 → 실무 응용으로 확장되고 있음을 확인할 수 있었습니다.
설문에 참여해주신 모든 참석자 분들께 다시 한번 감사드립니다.
또한, 이번에도 어김없이 저희 모임을 지원해주신 Astronomer와 DEVOCEAN에도 감사를 표합니다.
앞으로도 Airflow 한국사용자모임은 실무 중심의 지식 공유, 다양한 산업군의 사례 교류, 마지막으로 오픈소스 생태계 기여와 같은 세 가지를 큰 축으로 두어 커뮤니티와 함께 성장해 나가겠습니다.
마지막으로, 이번 밋업을 열기 위해 힘써주신 모든 운영진 분들께도 다시 한번 감사드립니다.
이번 밋업을 준비한 운영진(추영욱, 조민성, 이준원, 한상곤, 김건우, 김노은, 양원석, 이경준, 김탄, 최지현, 김진희)
