Airflow Scheduler, Trigger의 메모리 사용량 지속적 증가 문제

질의응답
1

최근 사내 k8s 환경에 Airflow를 Helm을 이용하여 올렸는데
Scheduler와 Trigger의 메모리 점유율이 계속 우상향하고 있습니다.

현재 DAG도 9개에 Task도 대부분 GCP 호출로 이루어져 있습니다.
DAG는 Active 상태이지만 대부분 일배치이고, 2종만 2분, 30분 간격으로 수행되고 있습니다.

대부분의 시간에서 Running중인 DAG가 없는데 메모리만 점유율이 올라가고있는 상황입니다.

비슷한 경험이나 어떤 영역부터 점검해야 하는지 조언을 구하고 싶습니다.

감사합니다.

환경 :

  • Airflow 버전 : 2.7.3
  • Python 버전 : 3.8
  • Executor : CeleryKubernetesExecutor
  • DB : postgre, redis
  • GitSync 사용중
1개의 좋아요
2

DAG run이 그리 많지 않은 상황인데도 Scheduler랑 Trigger 부분에서 메모리 점유율이 우상향하는 것은 메모리 leak을 의심해볼 수 있는데요.

먼저, 어떤 컴포넌트가 실제로 메모리를 점유하고 있는지 확인하는 것이 우선일 것 같습니다.

위의 방법을 사용하여 실제로 메모리를 비정상적으로 점유하고 있는 부분을 파악해야합니다.

이를 통해 다음 두 가지를 확인해볼 수 있을 것 같습니다:

  1. Airflow Scheduler / Trigger Python 프로세스 자체에서 메모리 사용량이 증가하고 있는지
  2. 혹은 K8s 레벨에서 컨테이너 전체 메모리 사용량이 증가하고 있는지

만약 프로세스 단에서 문제가 보인다면, 특정 모듈이나 Airflow 내부 loop부분을 의심해볼만 합니다. 반대로 컨테이너 레벨에서 문제가 보인다면, Python 이외의 다른 커널, buffer 등 os나 컨테이너 자원 부분을 의심해볼 수 있을 것 같습니다.

2번에서 문제가 발생한 경우는 아래에 해결? 책이 있긴합니다.

그리고 여기서 명확한 문제가 뚜렷하게 드러나지 않는다면, 그 다음으로는 DAG 파싱, GitSync 쪽을 점검해보는 것도 좋을 것 같습니다.
특히 GitSync를 사용 중이시고, DAG가 동적으로 생성되거나 parsing 주기가 짧게 설정되어 있다면, 이 부분이 메모리 증가에 영향을 줄 수 있습니다.

이런 방식으로 문제를 좁혀가면서 테스트를 해보시는 것이 좋을 것 같습니다.

1개의 좋아요