Salta al contenuto

Come posso gestire e ottimizzare le tabelle Iceberg per un'archiviazione di dati e query efficienti?

5 minuti di lettura
0

Desidero ottimizzare le mie tabelle Apache Iceberg in modo da ottenere un'archiviazione di dati e query efficienti.

Risoluzione

Scegli il tipo di tabella Iceberg in base al caso d'uso

La risoluzione scelta dipende dal tipo di tabella Iceberg impostato.

Utilizza una tabella Copy-On-Write (CoW) per le letture

In questo tipo di tabella Iceberg, qualsiasi operazione di aggiornamento o cancellazione effettuata sui record riscrive i file di dati corrispondenti nel backend. Una riscrittura rallenta le prestazioni, soprattutto se sono presenti diversi aggiornamenti ed eliminazioni. Utilizza una tabella CoW se i casi d'uso prevedono più letture anziché scritture.

Per convertire una tabella Iceberg esistente in una tabella CoW, esegui questo comando Apache Spark SQL:

spark.sql("ALTER TABLE <table-name>
SET TBLPROPERTIES ('write.delete.mode'='copy-on-write','write.update.mode'='copy-on-write')")

Per creare una nuova tabella CoW, utilizza le proprietà della tabella 'write.delete.mode'='copy-on-write','write.update.mode'='copy-on-write':

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

query = f"""
CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES
('format-version'='2','write.delete.mode'='copy-on-write','write.update.mode'='copy-on-write')
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

Utilizza una tabella Merge-On-Read (MoR) per le scritture

Quando aggiorni o elimini record in una tabella MoR, l'operazione aggiunge nuovi file di dati. I nuovi file di dati eliminati aggiunti vengono uniti durante una lettura. Le operazioni di scrittura richiedono invece solo l'aggiunta dei nuovi file ai file esistenti. Se scrivi nella tabella più frequentemente di quanto leggi dalla tabella, seleziona una tabella MoR.

Per utilizzare una tabella MoR Iceberg, esegui questo comando Spark SQL:

spark.sql("ALTER TABLE <table-name>
    SET TBLPROPERTIES ('write.delete.mode'='merge-on-read','write.update.mode'='merge-on-read')")

Nota: come best practice, per mantenere un migliore controllo sulle proprietà, crea le tabelle Iceberg da un motore Spark. Puoi anche utilizzare AWS Glue, EMR Spark o Amazon Athena per crearle. Tuttavia, Athena ha un supporto limitato per le proprietà delle tabelle e utilizza solo il tipo di tabella MoR.

Ottimizza le tabelle Iceberg

Le tabelle iceberg possono mostrare un calo delle prestazioni delle query a causa di un aumento del numero di file di metadati, dell'eliminazione di file e così via. Ecco alcuni modi che puoi utilizzare per ottimizzare l'efficienza delle query e dell'archiviazione di dati.

Snapshot con scadenza

Le tabelle Iceberg mantengono snapshot in modo da poter recuperare i dati da uno stato precedente della tabella. Questi snapshot vengono scritti per ogni operazione di scrittura eseguita sulla tabella e l'ID dello snapshot corrispondente viene aggiunto al nuovo file di metadati. Nel tempo, il numero di snapshot aumenta la dimensione del file di metadati. Gli snapshot aggiuntivi creano un ritardo nelle prestazioni delle query.

Per far scadere gli snapshot, utilizza le seguenti opzioni:

  • Utilizza l'operazione expireSnapshots in Spark per far scadere in parallelo gli snapshot più vecchi rispetto a un timestamp specificato per tabelle di grandi dimensioni:

        SparkActions.get()
        .expireSnapshots(table)
        .expireOlderThan(tsToExpire)
        .execute()
  • Oppure utilizza una procedura chiamata expire_snapshots. Per ulteriori informazioni, consulta expire_snapshots sul sito web Iceberg.

     spark.sql("CALL glue_catalog.system.expire_snapshots('databasename.tablename',<timestamp value>)")

    Esegui il codice precedente all'interno di un processo di AWS Glue a intervalli regolari. Automatizzando la scadenza degli snapshot, puoi limitare il numero di file di dati, mantenere ridotte le dimensioni del file di metadati e preservare l'efficienza delle query.

Rimuovi i vecchi file di metadati

Imposta la proprietà della tabella write.metadata.delete-after-commit.enabled su True per eliminare automaticamente i vecchi file di metadati dopo ogni commit della tabella. Puoi anche impostare write.metadata.previous-versions-max per gestire il numero di file di metadati vecchi da conservare.

Riscrivi i file manifesto

Una tabella Iceberg utilizza manifesti e file manifesto per tenere traccia di tutti i file di dati. Nel tempo, ogni snapshot fa riferimento a molti file manifesto. Queste operazioni rallentano le query. Per ulteriori informazioni, consulta Manifest Lists (Elenchi di manifesti) e Manifests (Manifesti) sul sito web Iceberg.

Utilizza la procedura di riscrittura dei manifesti per gestire in modo efficiente i file manifesto. Per ulteriori informazioni, consulta rewrite_manifests sul sito web Iceberg.

Esegui questa query Spark SQL:

spark.sql("CALL glue_catalog.system.rewrite_manifests('databasename.tablename')")

Riscrivi i file di dati

Iceberg mantiene e tiene traccia di tutti i file di dati della tabella in un file di metadati. Nel tempo, molti file di dati accumulati aumentano le dimensioni del file di metadati. I file non necessari o aperti nel file di metadati riducono l'efficienza di lettura. La procedura rewrite_data_files in Spark aiuta a compattare i dati in parallelo e ad aumentare l'efficienza di lettura. Per ulteriori informazioni, consulta rewrite_data_files sul sito web Iceberg.

Esegui questo comando Spark SQL:

spark.sql("CALL glue_catalog.system.rewrite_data_files(table=>'databasename.tablename')")

Utilizza la strategia BINPACK o SORT per riscrivere i file di dati in base al caso d'uso. Per ulteriori informazioni, consulta BINPACK e SORT sul sito web Iceberg.

BINPACK: è l'approccio più economico e anche il più veloce. Combina i file più piccoli in file più grandi e riduce il numero totale di file di output. L'ordine dei record non viene modificato e non vi è alcun rimescolamento dei dati. Questa è l'opzione predefinita.

CALL catalog.system.rewrite_data_files(
  table => 'test_table',
  strategy => 'binpack',
  options => map(
    'rewrite-job-order','bytes-asc',
    'target-file-size-bytes','<set-afile-size>',
    'max-file-group-size-bytes','<max-group-size>' -- 10GB
  )
)

SORT: la strategia SORT ordina i dati mentre comprime i file. Questa soluzione è utile quando esegui molte funzioni aggregate che confrontano i record adiacenti (ad esempio, le funzioni min o max).

CALL catalog_name.system.rewrite_data_files(
    table => 'databasename.tablename',
    strategy => 'sort',
    sort_order => 'id', --can be any column
    options => map('rewrite-all','true')
)

Rimuovi i file orfani

I file orfani non figurano in alcun file di metadati. Per ulteriori informazioni, consulta remove_orphan_files sul sito web Iceberg.

Per rimuovere i file orfani, esegui il comando remove_orphan_files come mostrato di seguito:

spark.sql("CALL glue_catalog.system.remove_orphan_files(table=>'databasename.tablename')")

Nota: come best practice, esegui un processo pianificato per gestire le attività di manutenzione. Utilizza un singolo processo di AWS Glue per eseguire tutte le query SQL Spark precedenti.

Informazioni correlate

Utilizzo del framework Iceberg in AWS Glue

Cos'è Apache Iceberg?

AWS UFFICIALEAggiornata 2 anni fa