Edge worker

질의응답
1

Bonsoir
J’aimerais poser une question concernant les Edge Workers.
La fonctionnalité est déjà en place de mon côté, et je souhaiterais maintenant comprendre comment configurer les DAG bundles afin de récupérer les DAGs depuis un dépôt Git.
Plus précisément, est-ce que cette configuration doit être définie dans le airflow.cfg à la fois sur la machine Manager et sur les machines Edge Worker, ou uniquement sur le Manager ?

1개의 좋아요
2

Hi Simo, Thanks for your question :grinning_face:
In Airflow 3.x Dag Bundles(including git-based Dags) only need to be configured on the Manager(Scheduler). The Edge workers do not need their own Dag bundle confg.

## why

  • The Manager(Scheduler) handles fetching and parsing Dags from the git repo.
  • Edge workers only execute tasks and rely on the Manager to provide the Dag code.

So you can safely define Dag bundle config on the Manager side only. Edge Workers will automatically receive the necessary Dags to run tasks.

3

Merci pour votre retour. Le lancement du DAG fonctionne lorsque la configuration Git est présente sur toutes les machines. En revanche, si je configure Git uniquement sur le Manager, les logs affichent l’erreur suivante : ValueError: Requested bundles ‘test_git_bundle’ is not configured. Il semble que les Workers ne parviennent pas à accéder au bundle

1개의 좋아요
4

Thanks for checking this.
Just to double-check, do the Edge Workers also have the following bundle definition configured?

[dag_bundle:test_git_bundle]
type = git

If this doesn’t resolve the issue, I’d appreciate it if you could let me know.

5

Avec grand plaisir, je serais ravi que vous me montriez la configuration possible afin de la mettre en place et de l’appliquer à mon environnement ,étape par étape et comme ça une personne il peut bénéficier de la même approche, Merci d’avance

6

Salut choo,

Pardon pour le retard, j’ai testé cette fonctionnalité mais n’ a pas abouti le même message erreur gitbundles is not configured

1개의 좋아요
7

In my previous reply, I mentioned that configuring the Dag bundle only on the Scheduler would be sufficient.
However, after reviewing the official documentation again, it turns out that the same Dag bundle configuration must be defined on both the Scheduler and the Edge Worker.

Airflow configuration settings should be homogeneous across the cluster and on the edge site.

Therefore, the Edge Worker does not receive the bundle configuration itself from the central server.
When a task is dispatched, the worker only receives the bundle name and version. The actual bundle instantiation is performed locally, based on its own airflow.cfg configuration.

I apologize for the confusion :folded_hands:

1개의 좋아요
8

Merci, beaucoup pour la réponse, je viens de faire une petite solution est bien fonctionne ,j ai implémenté même configuration de gitbundles sur les deux Vm , et ça marche mieux