Bonsoir
J’aimerais poser une question concernant les Edge Workers.
La fonctionnalité est déjà en place de mon côté, et je souhaiterais maintenant comprendre comment configurer les DAG bundles afin de récupérer les DAGs depuis un dépôt Git.
Plus précisément, est-ce que cette configuration doit être définie dans le airflow.cfg à la fois sur la machine Manager et sur les machines Edge Worker, ou uniquement sur le Manager ?
1개의 좋아요
Hi Simo, Thanks for your question 
In Airflow 3.x Dag Bundles(including git-based Dags) only need to be configured on the Manager(Scheduler). The Edge workers do not need their own Dag bundle confg.
why
- The Manager(Scheduler) handles fetching and parsing Dags from the git repo.
- Edge workers only execute tasks and rely on the Manager to provide the Dag code.
So you can safely define Dag bundle config on the Manager side only. Edge Workers will automatically receive the necessary Dags to run tasks.
Merci pour votre retour. Le lancement du DAG fonctionne lorsque la configuration Git est présente sur toutes les machines. En revanche, si je configure Git uniquement sur le Manager, les logs affichent l’erreur suivante : ValueError: Requested bundles ‘test_git_bundle’ is not configured. Il semble que les Workers ne parviennent pas à accéder au bundle
1개의 좋아요
Thanks for checking this.
Just to double-check, do the Edge Workers also have the following bundle definition configured?
[dag_bundle:test_git_bundle]
type = git
If this doesn’t resolve the issue, I’d appreciate it if you could let me know.
Avec grand plaisir, je serais ravi que vous me montriez la configuration possible afin de la mettre en place et de l’appliquer à mon environnement ,étape par étape et comme ça une personne il peut bénéficier de la même approche, Merci d’avance