Apache Airflow 한국사용자모임 제5회 밋업 후기
지난 2월 26일, Apache Airflow 한국사용자모임 제5회 밋업이 개최되었습니다!
이번 밋업 장소는 홍대입구역 근처에 위치한 #한빛빌딩에서 진행되었으며, 평일 저녁 행사임에도 불구하고 많은 분들께서 참여해주셨습니다.
이번 밋업은 이경준님이 진행을 맡으셨으며, 경준님의 오프닝을 시작으로 아래의 세션들이 진행되었습니다.
(틈새 후원사 자랑)
Breeze로 시작하는 Airflow 기여, 그리고 Agent 시대의 Airflow — 추영욱님
Apache Airflow 한국사용자모임의 리더이자, 국내 유일 Apache Airflow Committer이신 영욱님께서 첫 세션을 열어주셨습니다.
Apache Airflow 오픈소스 기여 방법과 AI 에이전트를 활용한 최신 실무 환경을 상세히 소개하는 세션이었습니다. Breeze와 Prek 등을 활용하여 기여의 진입 장벽을 낮추는 방법과, Astronomer Agents를 도입하여 AI 에이전트 기반의 Dag 생성, 디버깅 및 최적화하는 방법들에 대해 소개해주셨습니다. 특히 많은 분들이 어려움을 겪고 있는 Airflow 2에서 3 버전으로의 마이그레이션을 AI 에이전트 기반으로 쉽게 달성할 수 있는 것이 가장 인상적인 내용이었습니다.
Dag 만들어보기 — 조민성님
이번 세션은 저희 모임의 전통인 Apache Airflow 101로, 입문자들을 위해 Apache Airflow 한국사용자모임의 1기부터 꾸준히 활동중이신 민성님께서 Airflow의 Dag 개념부터 PythonOperator와 Task 작성법 비교 및 실제 파이프라인 구성과 Web UI에서의 시연까지 다뤄주셨습니다. 엔비디아의 주식정보를 추출하여 각종 데이터소스에 저장하고 활용할 수 있도록 파이프라인을 구성하는 방식을 설명하여, Dag 작성에 어려움을 겪는 입문자 분들께 간단한 사용법을 알려주는 유익한 세션이었습니다.
Airflow Multi-Tenancy PoC Report — 이성환님
토스뱅크에서 Airflow를 직접 관리하며 겪은 문제들을 소개하고 이를 해결하는 과정을 코드레벨로 다룬 실무 중심의 세션이었습니다. 6개로 나누어진 Airflow 클러스터를 하나로 통합하기 위해 진행한 멀티테넌시환경 구축 PoC 과정을 다뤄주셨는데요. 사용자별 권한 분리나, 독립적인 실행 환경 제공, 그리고 자원 격리를 위한 참고사항 등을 상세히 공유해주셨습니다. 최종적으로 'Task SDK’와 ‘Edge Executor’ 등을 활용하고자한다는 방향성도 함께 공유해주신 유익한 세션이었습니다.
중대형 DAG 배포 쉽게 하기 — 이지호님
Airflow를 사용해본 사람이라면 모두 겪는 문제애 대해서 공유해주신 지호님의 ‘중대형 프로젝트에서 발생하는 DAG 관리의 복잡성과 파이썬 패키지 의존성 충돌 문제를 해결하기 위한 방안’을 제시하는 세션입니다.
Dag 파일과 공통 로직을 별도의 파이썬 패키지(.whl)로 빌드하고, uv 도구를 활용해 환경별로 의존성을 엄격하게 고정하는 전략 등, 실무자에게 도움이 될 만한 지식을 공유해주셨습니다. 최종적으로 컨테이너 기반 배포와 PythonVirtualenvOperator를 결합하여 팀별·태스크별 실행 환경을 안전하게 격리하는 최적의 워크플로를 제안해주신 유익한 세션이었습니다.
모든 세션이 끝난 이후, 이번 밋업에 대한 설문조사와 네트워킹 시간이 있었습니다. 네트워킹 이후에는 굿즈 추첨시간이 이어졌는데요. 추첨은 설문조사를 완료해주신 분들을 대상으로 Airflow 로고가 그려진 티셔츠를 선물로 드렸습니다.
밋업 후기와 Airflow 사용사례 등에 대한 설문조사가 이루어졌습니다. (굿즈 덕분인지 이번 설문조사도 참여율이 대단했습니다 ㅎㅎ) 설문 결과를 함께 보면서 지난 밋업 대비 어떤 유의미한 변화가 있는지 함께 보시죠!
[참가 목적]
- 다양한 환경의 활용사례 청취: 65%
- 네트워킹 및 정보 교류: 15%
- 기타: 20%
[참가자 구성]
포지션
- Data Engineer: 약 59%
- Backend Engineer: 약 10%
- 그 외(Data Analyst, MLOps 등): 30%
1. Airflow 한국사용자모임 밋업에는 모두가 온다!
커뮤니티의 숙련도가 전반적으로 높아진 동시에, 커뮤니티 채널에 아직 가입하지 않은 ‘완전 신규’ 참여자도 함께 증가했습니다.
3년 차 이상 중·고급 사용자가 4회차(4명) 대비 5회차(10명)에 크게 증가했습니다.
신규 유입자도 5명으로, 초심자부터 고수까지 모두가 즐기는 행사임을 보여줬네요!
*사용 경험은 얼마나 되나요?
(참여자분들의 산업 도메인은 아래와 같아요)
기술 분야가 많았고, 금융, 커머스 분야에서도 관심을 가지고 참여해주시는 분들이 많았습니다ㅎㅎ 외에도 다양한 분야에서 참석해주셨습니다!
*산업 도메인은 무엇인가요?
2. 버전은 3.x대를, 환경은 쿠버네티스에서 가장 많이 사용하고 있어요.
4회차 밋업에 비해 5회차는 3.x대를 쓰시는 분들이 많아졌네요! (2.7 이후도 많아졌고요)
*사용 중인 버전은 무엇인가요?
*사용중인 환경은 무엇인가요?
3. 오프소스 생태계에 기여 경험자가 2배 늘었어요!
*기여 경험이 있나요?
*기여 경험 내용은 무엇인가요?
4. 입문하기 어려웠던 이유는 '동작이해 & 환경 구성’ 때문이에요.
4회차에는’내부 컴포넌트 동작과정에 대한 이해가 어려워서 진입 장벽을 느끼신 분들이 많았다면, 이제는 개발 환경 구성에 대해 어려움을 느끼는 분들이 늘어났습니다.
(다음 밋업에서는 환경구성에 대해서 고민해봐도 좋을 것 같네요!)
설문에 참여해주신 모든 참석자 분들께 다시 한번 감사드립니다.
(더 나은 밋업을 위한 의견 및 건의 사항이 있다면, 언제든 연락주세요! ㅎㅎ )
퇴근 후에도 시간을 내어 참여해주신 모든 발표자와 참석자분들께 감사드립니다.
또한 이번에도 저희 모임을 지원해주신 Astronomer, 한빛앤, Snowflake에도 감사를 표합니다.
앞으로도 Airflow 한국사용자모임은 실무 중심의 지식 공유, 다양한 산업군의 사례 교류, 마지막으로 오픈소스 생태계 기여와 같은 세 가지를 큰 축으로 두어 커뮤니티와 함께 성장해 나가겠습니다.
마지막으로, 이번 밋업을 열기 위해 힘써주신 모든 운영진 분들께 다시 한번 감사드립니다.
추영욱, 조민성, 이준원, 한상곤, 김건우, 김노은, 양원석, 이경준, 김탄, 최지현, 김진희
