Big Data

Apache Hudi : Un autre Data Lakehouse

Apache Hudi est un framework open-source pour data lakes, offrant upserts, suppressions et transactions ACID. Avec ses modèles Copy-On-Write et Merge-On-Read, il réduit la latence et optimise les coûts. Idéal pour des architectures lakehouse modernes.

Ronan Maron

19 mai 2025 — 3 min read

Introduction

Dans un monde où les données évoluent à un rythme effréné, les architectures traditionnelles comme les data warehouses montrent leurs limites. C'est là qu'Apache Hudi entre en jeu, une solution innovante conçue pour apporter des fonctionnalités de base de données aux data lakes. Dans cet article, nous explorons les fondamentaux d'Apache Hudi, son architecture, et comment il révolutionne la gestion des données modernes.

Qu'est-ce qu'Apache Hudi ?

Apache Hudi (Hadoop Upserts Deletes and Incrementals) est un framework open-source qui permet des opérations de type base de données (upserts, suppressions) sur des data lakes. Développé à l'origine par Uber pour résoudre des problèmes liés à la fraîcheur des données et aux coûts de calcul, Hudi est aujourd'hui un pilier de l'architecture lakehouse.

Les problèmes résolus par Hudi

Latence élevée : Traitement par lots coûteux et recomputations inutiles.
Manque de transactions ACID (atomicité, cohérence, isolation et durabilité) : Risque de données incohérentes lors d'écritures concurrentes.
Gestion des données inefficace : Absence de capacités natives comme le time travel ou les requêtes incrémentielles.

Hudi apporte une solution en combinant les avantages des data lakes (coût, évolutivité) et des data warehouses (gestion avancée, transactions).

Les concepts clés d'Apache Hudi

1. La timeline

La timeline est le cœur de Hudi. Elle enregistre toutes les modifications apportées à une table sous forme d'instants, chacun caractérisé par :

Une action (commit, compaction, etc.).
Un horodatage.
Un état (en cours, terminé, etc.).

Cette approche permet des transactions ACID et un suivi précis des changements.

2. L'architecture des fichiers

Hudi organise les données en deux types de fichiers :

Fichiers de données :
- Base files (fichiers Parquet) pour les données brutes.
- Log files (fichiers row-based) pour les modifications incrémentielles (uniquement dans les tables "Merge-On-Read").
Fichiers de métadonnées :
- Stockent des informations comme le schéma, l'historique des commits, et les index.

3. Les types de tables

Hudi propose deux modèles de tables :

Copy-On-Write (CoW) :
- Crée une nouvelle version des fichiers Parquet à chaque modification.
- Idéal pour les charges de travail analytiques (lectures optimisées).
Merge-On-Read (MoR) :
- Stocke les modifications dans des log files et les fusionne ultérieurement.
- Parfait pour les cas d'usage en temps réel (écritures optimisées).

Fonctionnalités avancées

Time Travel : Interroger des données à un instant précis dans le passé.
Requêtes incrémentielles : Récupérer uniquement les données modifiées depuis un certain temps.
Change Data Capture (CDC) : Suivre les changements en temps réel pour des pipelines synchronisés.

Pourquoi choisir Apache Hudi ?

Transactions ACID : Garantit la cohérence des données.
Performances : Réduit la latence et les coûts de calcul.
Flexibilité : Compatible avec plusieurs moteurs (Spark, Flink, etc.).
Écosystème ouvert : Intègre des outils comme Delta Lake et Iceberg.

Conclusion

Apache Hudi est bien plus qu'un simple format de table : c'est une plateforme robuste pour construire des architectures lakehouse modernes. Que vous soyez un ingénieur data débutant ou expérimenté, Hudi offre les outils nécessaires pour gérer efficacement vos données à grande échelle.

Pour aller plus loin, explorez la documentation officielle et rejoignez la communauté Hudi sur Slack ou LinkedIn.

Sources

YouTube - Ep 1: Getting Started with Apache Hudi - Understanding the Basics of the Table Format
Apache Hudi