Lakekeeper 0.11.2

Lakekeeper je open-source katalog pro Apache Iceberg, který plně implementuje standardní REST Catalog specifikaci. Je postaven na knihovně iceberg-rust, což mu umožňuje fungovat jako jediný binární soubor bez nutnosti instalace JVM nebo Pythonu. Jako centrální bod v Open Lakehouse architektuře umožňuje Lakekeeper provádět pokročilé operace, jako jsou commity napříč více tabulkami a řešení konfliktů na straně serveru. Systém je navržen jako bezstavový, což usnadňuje jeho horizontální škálování a zajišťuje vysokou dostupnost v produkčních prostředích.

Bezpečnostní architektura nástroje se opírá o správu přístupu pomocí mechanismů "Vended-Credentials" a vzdáleného podepisování požadavků pro S3, přičemž podporuje všechny hlavní cloudové poskytovatele (AWS, Azure, GCP) i on-premise nasazení. Lakekeeper nabízí jemnozrnnou autorizaci (Fine-Grained Access) skrze OpenFGA nebo Cedar a integruje se s identitními poskytovateli přes OIDC. Významnou funkcí je systém událostí (CloudEvents), který umožňuje externím aplikacím reagovat na změny v tabulkách v reálném čase, a mechanismus schvalování změn pro vynucování datových kontraktů.

Hlavní funkcionality:

• Implementace standardního Apache Iceberg REST rozhraní pro kompatibilitu s query enginy jako Spark, Trino či DuckDB.
• Nativní podpora pro Kubernetes včetně Helm chartu a autentizace servisních účtů.
• Zabezpečená správa přístupu k datům v S3, Azure ADLS Gen2 a Google Cloud Storage.
• Multi-tenancy: podpora více projektů a nezávislých warehouse v rámci jedné instance.
• Emise událostí (CloudEvents) skrze NATS nebo Kafku pro orchestraci datových toků.
• Rozšiřitelnost pomocí Rust Traitů pro vlastní implementace autorizace nebo úložiště tajných klíčů.
• Podpora pro pokročilou správu metadat, včetně soft-delete, ochrany před smazáním a vyhledávání.
• Auditní logování a integrace s externími systémy pro schvalování změn (Data Contracts).