CREATE WAREHOUSE (Snowflake) în Snowflake & dbt (Data Stack)

CREATE WAREHOUSE (Snowflake) este o componentă esențială în ecosistemul Snowflake & dbt. Provizionarea unui cluster de calcul virtual independent în Snowflake cu setări de auto-suspendare și auto-reluare.

Sintaxă și Utilizare Practică

Exemplu practic documentat pas cu pas:

-- Crearea unui depozit de calcul dedicat pentru procesele dbt
CREATE OR REPLACE WAREHOUSE DBT_TRANSFORM_WH
    WITH 
    WAREHOUSE_SIZE = 'SMALL'
    AUTO_SUSPEND = 60          -- Se suspendă automat după 60 secunde de inactivitate
    AUTO_RESUME = TRUE          -- Pornește instantaneu când primește o interogare
    MIN_CLUSTER_COUNT = 1
    MAX_CLUSTER_COUNT = 3       -- Scalare multi-cluster la vârfuri de încărcare
    SCALING_POLICY = 'STANDARD'
    COMMENT = 'Warehouse dedicat pipeline-urilor automate dbt';

Bune Practici în Producție

• Eficiență Computațională: Aplicați predicate pushdown, filtrați din timp datele și evitați operațiunile de shuffle redundante.
• Calitatea Datelor: Definiți teste automate de integritate și monitorizați calitatea la fiecare transformare.
• Optimizare de Costuri: Folosiți încărcare incrementală și politici automate de auto-suspendare pentru resursele de calcul.