Ingestie Automată în Timp Real cu Snowpipe în Snowflake & dbt (Data Stack)

Snowpipe este mecanismul serverless de ingestie continuă din Snowflake. Prin integrarea cu serviciile de notificare cloud (AWS SNS/SQS, Azure Event Grid, Google Pub/Sub), Snowpipe detectează automat apariția unui fișier nou în bucket și declanșează instantaneu încărcarea în tabel fără a necesita menținerea activă a unui Virtual Warehouse dedicat.

CREATE OR REPLACE PIPE pipe_ingestie_comenzi
  AUTO_INGEST = TRUE
AS
  COPY INTO raw_db.staging.comenzi_brute
  FROM @staged_s3_tranzactii
  FILE_FORMAT = (TYPE = 'JSON');

-- Verificarea stării de funcționare a canalului de ingestie:
SELECT SYSTEM$PIPE_STATUS('pipe_ingestie_comenzi');