EAC propose un ensemble complet de fonctionnalités destinées à simplifier l’exécution, l’orchestration et la surveillance des processus ETL.
Chaque fonctionnalité est décrite dans une section distincte ci-dessous.
1. Déploiement de job
Importez les archives de job générées par Talend (.zip) et déployez-les instantanément.
- Prise en charge de l’importation directe via l’interface Web ou du déploiement à partir du système de fichiers du serveur.
- Possibilité de suivre l’historique des déploiements et les erreurs par version.
2. Séparation des projets
OOrganisez les tâches et les contextes par projet pour une gestion plus claire.
- Permet de maintenir une hiérarchie claire lors de la gestion de plusieurs flux ETL.
- Les projets peuvent contenir une ou plusieurs tâches, chacune disposant de ses propres contextes.
- Facilite la délégation et la prise en charge par les équipes.
3. Gestion des contextes
Définissez et gérez les variables de contexte de manière globale ou par tâche.
- Remplacez les variables en fonction de l’environnement (par exemple : dev, test, prod).
- Les valeurs de contexte peuvent être héritées du projet ou définies spécifiquement pour une tâche.
- Cela garantit une grande flexibilité sans avoir à dupliquer les tâches.
4. Planificateur intégré
Planifiez l’exécution des tâches avec une précision au niveau de la seconde.
- Configurez des planifications récurrentes directement depuis l’interface utilisateur.
- Lancez ou arrêtez des planifications sans avoir à redéployer les tâches.
- Associez cette fonctionnalité au crontab du système pour mettre en place des approches de planification hybrides.
5. Exécution multi-serveurs
Répartir l’exécution des tâches sur plusieurs serveurs.
- Équilibrer la charge en attribuant les tâches à différents serveurs d’exécution.
- Répliquer automatiquement les déploiements sur les serveurs.
- Surveiller l’état des serveurs d’exécution (CPU, mémoire, disponibilité).
6. Tableau de bord de monitoring
Un tableau de bord centralisé pour un suivi en temps réel.
- Consultez les délais d’exécution et l’état actuel des tâches.
- Explorez en détail les journaux par exécution.
- Accédez rapidement à l’historique des réussites et des échecs ainsi qu’aux indicateurs de performance.
7. Accès API
Interagissez avec EAC par programmation via une API REST.
- Lancez, arrêtez ou relancez des tâches depuis un système externe.
- Récupérez les détails des jobs, des tâches et des exécutions pour les intégrer à des outils tiers.
- Sécurisez l’accès grâce à des jetons API et à des autorisations basées sur les rôles.
8. Mécanismes de purge des logs
Optimisez l’espace de stockage grâce à la purge automatique des journaux.
- Configurez des règles de conservation en fonction d’une plage de dates, d’un nombre d’exécutions ou d’une durée.
- Une purge manuelle est disponible pour un nettoyage immédiat.
- Cela garantit les performances de la base de données et réduit l’encombrement du stockage.
9. Gestion des rôles
Contrôle d’accès basé sur les rôles avec deux rôles : Admin et API.
- Admin : accès complet pour gérer les jobs, les tâches/planifications, les serveurs, les environnements, les journaux et les utilisateurs ; peut configurer les paramètres système et les politiques de purge.
- API : accès programmatique via des jetons API ; peut déclencher des jobs/tâches et lire l’état d’exécution/les journaux dans son périmètre ; ne peut pas gérer les utilisateurs ni les paramètres globaux.
- Cette séparation applique le principe du privilège minimal et prend en charge l’automatisation sans exposer les contrôles administratifs.
L’accès API est limité aux périmètres accordés à son jeton.
10. Flexibilité technique
EAC est conçu pour être indépendant de toute base de données en matière de stockage des journaux.
- Prend en charge MySQL, PostgreSQL, SQL Server et MariaDB.
- Enregistrement des journaux dans des fichiers ou dans une base de données
