Concepts clés

Jobs Talend

Un job Talend est un processus ETL packagé, conçu et exporté depuis Talend Studio. Dans EAC, ces jobs sont déployés sous forme d’archives exécutables. Une fois déployés, les jobs peuvent être :

• Lancés manuellement
• Planifiés pour une exécution automatisée
• Surveillés en termes de performances et d’erreurs

EAC permet la coexistence de plusieurs versions d’un même job, ce qui vous permet de tester de nouvelles versions sans affecter l’environnement de production. See Testing job version’s.

Tâches (Manuelle & planifiée)

Dans EAC, une tâche correspond à la configuration d’exécution d’un job Talend spécifique.

Chaque tâche peut :

• Utiliser une version spécifique du job
• Disposer de paramètres de contexte personnalisés
• Être exécutée manuellement, via un planificateur ou lancée depuis une API
• Envoyer des notifications en cas de réussite ou d’échec
• Exiger une confirmation avant de redémarrer en cas d’erreur
• Lancer d’autres tâches en fonction de leur échec/succès
• Etre relancée plusieurs fois si échec

Plusieurs tâches peuvent pointer vers le même job tout en ayant des paramètres d’exécution différents. See good use of contexts.

Contextes & Environnements

Dans Talend, les contextes permettent de stocker des variables (par exemple, des identifiants de base de données, des chemins d’accès aux fichiers, des clés API). EAC améliore cette fonctionnalité en permettant :

• Des contextes communs par projet (partagés entre plusieurs tâches)
• Des remplacements de contexte par tâche pour la personnalisation
• Des contextes d’environnement (par exemple, Développement, Préproduction, Production) pour une séparation claire

Cela vous permet d’exécuter le même job dans différents environnements sans avoir à modifier le job lui-même. See good use of contexts.

Mode multi-serveur

EAC prend en charge l’exécution sur plusieurs serveurs pour garantir l’évolutivité et la redondance. Dans ce mode :

• Les tâches peuvent être déployées sur plusieurs serveurs.
• La charge d’exécution peut être répartie.
• Synchronisation du déploiement.
• Chaque instance de serveur doit disposer d’un APP_SERVER_NAME unique.

Système de journaux de logs et de purge

EAC suit et stocke les journaux de chaque exécution ETL, notamment :

• Heure de début/fin
• Durée
• État d’exécution
• Journaux de traitement détaillés
• Métriques et statistiques

Les journaux pouvant rapidement prendre beaucoup de place, EAC propose quatre stratégies de purge :

1. Par date : supprime les journaux antérieurs à une date donnée ou une période donnée (ex: plus de 7 jours)
2. Par nombre d’exécutions : ne conserve que les N dernières exécutions.
3. Par durée : supprime les exécutions d’une durée inférieure à X secondes (si elles ont abouti).
4. Manuelle ou planifiée : les purges peuvent être lancées manuellement ou planifiées via l’interface utilisateur.

Cela garantit des performances optimales sans compromettre les capacités de dépannage. See good use of purges.