Passa il vertice della comunità dei dati

Una pipeline CI/CD è una serie di procedure che devono essere seguite per fornire una nuova versione del software. Integrazione continua/Consegna continua (CI/CD) Le condutture sono una serie di pratiche volte a migliorare la consegna del software attraverso l’uso di a Devops o a Sito Affidabilità Engineering (SRE) approccio. Una pipeline CI/CD incorpora il monitoraggio e l’automazione per migliorare il processo di sviluppo dell’applicazione, in particolare durante il Integrazione E Test fasi, così come durante Consegna E Distribuzione. Sebbene ogni fase di una pipeline CI/CD possa essere eseguita manualmente, il valore reale di una pipeline CI/CD viene realizzato attraverso l’automazione.

Costruire la pipeline CD CI Flake Snowflake utilizzando Azure DevOps & Flyway semplificata: 4 passaggi critici

Gli acronimi CI e CD sono spesso utilizzati nelle moderne pratiche di sviluppo e DevOps. Integrazione continua (CI) si riferisce a una migliore pratica fondamentale DevOps in cui gli sviluppatori uniscono spesso il codice cambia in un repository centrale in cui vengono eseguite build e test automatizzati. D’altra parte, Consegna continua (CD) è un’estensione della continua integrazione in quanto distribuisce automaticamente tutte le modifiche al codice nell’ambiente di test e/o di produzione seguendo la fase di costruzione.

Sommario

Dopo un completo w. Questo articolo ti fornirà anche una guida passo-passo su come costruire un Snowflake CD CD Pipeline in modo senza soluzione di continuità. Leggi per saperne di più sulle condutture CD di Snowflake CI.

Sommario

• Prerequisiti
• Cos’è Snowflake?
  • Caratteristiche chiave di Snowflake
  • Passaggio 1: crea un progetto demo
  • Passaggio 2: impostare l’ambiente di produzione
  • Passaggio 3: crea un gruppo variabile della libreria
  • Passaggio 4: creare ed eseguire una pipeline di distribuzione CD CI Snowflake CI

  Prerequisiti

  • Esperienza pratica con Git.
  • Un account attivo del fiocco di neve.
  • Un account Active Azure Devops Services.

  Cos’è Snowflake?

  Snowflake è uno dei più popolari Cloud Data Warehouses Ciò offre una pletora di funzionalità senza compromettere la semplicità. Si ridimensiona automaticamente, sia su e giù, per offrire il meglio Performance-to-cost rapporto. La caratteristica distintiva del fiocco di neve è che si separa Calcolo da Magazzinaggio. Questo è significativo come quasi tutti gli altri data warehouse, incluso Amazon Redshift, combina i due, il che implica devi considerare la dimensione del tuo carico di lavoro più alto e quindi incorrere i costi associati ad esso.

  Snowflake non richiede hardware o software per essere Scelto, installato, configurato o gestito, rendendolo ideale per le organizzazioni che non vogliono dedicare risorse a Setup, manutenzione e supporto di server interni. Ti consente di archiviare tutti i tuoi dati in una posizione centralizzata e dimensioni il calcolo in modo indipendente. Ad esempio, se hai bisogno tempo reale Carichi di dati Per trasformazioni complesse ma hai solo alcune domande complesse nel tuo reporting, è possibile scrivere un enorme magazzino di fiocchi di neve per il carico di dati e quindi ridimensionarlo dopo di esso’S finito – Tutto in tempo reale. Questo ti farà risparmiare una quantità significativa di denaro senza mettere a repentaglio i tuoi obiettivi di soluzione.

  Caratteristiche chiave di Snowflake

  Alcune delle caratteristiche chiave del fiocco di neve sono le seguenti:

  • Scalabilità: IL Calcolare E Magazzinaggio Le risorse sono separate in fiocchi di neve’ Multi-cluster Architettura di dati condivisa. Questa strategia offre agli utenti la possibilità di aumentare le risorse quando devono essere caricate rapidamente grandi quantità di dati e ridimensionare quando il processo è completo senza interrompere alcun tipo di operazione.
  • Nessuna amministrazione richiesta: Consente alle aziende di impostare e gestire una soluzione senza richiedere un ampio coinvolgimento da parte di amministratori di database o team IT. Non richiede l’installazione di software o la messa in servizio dell’hardware.
  • Sicurezza: Snowflake ospita una vasta gamma di funzionalità di sicurezza, da come gli utenti accedono a Snowflake a come vengono memorizzati i dati. Per limitare l’accesso al tuo account, è possibile gestire le politiche di rete mediante indirizzi IP di whitelisting. Snowflake supporta una varietà di metodi di autenticazione, incluso Autenticazione a due fattori E SSO attraverso Autenticazione federata.
  • Supporto per dati semi-strutturati: Fiocco di neve’S Architecture abilita la conservazione di Strutturato E Semi-strutturato dati nella stessa posizione utilizzando il VARIANTE schema sul Leggere tipo di dati. VARIANTE può archiviare dati strutturati e semi-strutturati. Una volta caricati i dati, Snowflake li analizza automaticamente, estrae gli attributi e li memorizza in un formato colonnare.

  Cos’è una pipeline CI/CD?

  Una pipeline CI/CD è una serie di procedure che devono essere seguite per fornire una nuova versione del software. Integrazione continua/Consegna continua (CI/CD) Le condutture sono una serie di pratiche volte a migliorare la consegna del software attraverso l’uso di a Devops o a Sito Affidabilità Engineering (SRE) approccio. Una pipeline CI/CD incorpora il monitoraggio e l’automazione per migliorare il processo di sviluppo dell’applicazione, in particolare durante il Integrazione E Test fasi, così come durante Consegna E Distribuzione. Sebbene ogni fase di una pipeline CI/CD possa essere eseguita manualmente, il valore reale di una pipeline CI/CD viene realizzato attraverso l’automazione.

  1. Qual è lo scopo di una pipeline CI/CD?

  Lo scopo di una pipeline CI/CD è di fornire una nuova versione del software seguendo una serie di procedure definite. Mira a migliorare la consegna del software attraverso l’uso dell’automazione e del monitoraggio durante le fasi di integrazione, test, consegna e distribuzione del processo di sviluppo dell’applicazione.

  2. Come si inserisce l’integrazione continua (CI) in una pipeline CI/CD?

  L’integrazione continua (CI) è una migliore pratica devops fondamentale in cui gli sviluppatori uniscono spesso il codice cambia in un repository centrale in cui vengono eseguite build e test automatizzati. Garantisce che le modifiche al codice siano integrate senza intoppi e che eventuali conflitti o problemi siano identificati all’inizio del processo di sviluppo.

  3. Cosa è la consegna continua (CD) in una pipeline CI/CD?

  La consegna continua (CD) è un’estensione della continua integrazione in cui tutte le modifiche al codice vengono distribuite automaticamente nell’ambiente di test e/o di produzione seguendo la fase di costruzione. Garantisce che eventuali aggiornamenti o miglioramenti al software vengano forniti agli utenti in modo efficiente e coerente.

  4. È possibile eseguire ogni fase di una pipeline CI/CD?

  Sì, ogni fase di una pipeline CI/CD può essere eseguita manualmente. Tuttavia, il vero valore di una pipeline CI/CD viene realizzato attraverso l’automazione. L’esecuzione manuale delle fasi della pipeline può richiedere molto tempo e inclinare l’errore umano, mentre l’automazione migliora l’efficienza e garantisce risultati coerenti.

  5. Qual è il vantaggio chiave dell’automazione di una pipeline CI/CD?

  Il vantaggio chiave dell’automazione di una pipeline CI/CD è una migliore efficienza e coerenza nella consegna del software. L’automazione riduce lo sforzo manuale e consente agli sviluppatori di concentrarsi sulla codifica piuttosto che eseguire attività ripetitive. Garantisce inoltre che ogni modifica del codice passi attraverso la stessa serie di test e fasi di distribuzione, con conseguente software più affidabile e stabile.

  6. In che modo un’organizzazione può trarre vantaggio dall’implementazione di una pipeline CI/CD?

  Implementando una pipeline CI/CD, le organizzazioni possono beneficiare di una consegna più rapida del software, un tempo ridotto al mercato, una migliore qualità del codice e un aumento della produttività degli sviluppatori. Consente ai team di iterare e rilasciare il software più frequentemente, rispondere rapidamente al feedback dei clienti e fornire nuove funzionalità e aggiornamenti con tempi di inattività minimi.

  7. Quali sono i prerequisiti per la costruzione di una pipeline CI/CD di fiocchi di neve utilizzando Azure DevOps e Flyway?

  I prerequisiti per la costruzione di una pipeline CI/CD di fiocchi di neve utilizzando Azure DevOps e Flyway includono esperienza pratica con Git, un account attivo del fiocco di neve e un account Active DevOps Services.

  8. Quali sono le caratteristiche chiave di Snowflake?

  Alcune caratteristiche chiave del fiocco di neve includono la scalabilità, nessuna amministrazione richiesta, forti misure di sicurezza e supporto per dati semi-strutturati. Offre il ridimensionamento automatico delle risorse di calcolo e di archiviazione, semplificando la gestione. Snowflake fornisce anche robuste funzionalità di sicurezza per l’accesso ai dati e supporta l’articolazione di dati strutturati e semi-strutturati.

  9. In che modo il fiocco di neve differisce dagli altri warehouse?

  Snowflake si differenzia dagli altri data warehouse separando il calcolo dalla memoria. A differenza di altri data warehouse, come Amazon Redshift, che combinano il calcolo e lo stoccaggio, Snowflake consente agli utenti di ridimensionare il calcolo e l’archiviazione in modo indipendente. Questa flessibilità consente agli utenti di ottimizzare i costi e le prestazioni in base ai loro requisiti di carico di lavoro specifici.

  10. Quali vantaggi offre Snowflake per la gestione di carichi di dati in tempo reale e query complesse?

  Snowflake offre vantaggi per la gestione di carichi di dati in tempo reale e query complesse consentendo agli utenti di scrivere un enorme magazzino Snowflake per carichi di dati e quindi ridimensionarlo dopo il completamento, il tutto in tempo reale. Questo approccio consente di risparmiare costi significativi garantendo al contempo un’elaborazione efficiente dei carichi di dati in tempo reale e delle query complesse.

  Passa il vertice della comunità dei dati

  Una pipeline CI/CD è una serie di procedure che devono essere seguite per fornire una nuova versione del software. Integrazione continua/Consegna continua (CI/CD) Le condutture sono una serie di pratiche volte a migliorare la consegna del software attraverso l’uso di a Devops o a Sito Affidabilità Engineering (SRE) approccio. Una pipeline CI/CD incorpora il monitoraggio e l’automazione per migliorare il processo di sviluppo dell’applicazione, in particolare durante il Integrazione E Test fasi, così come durante Consegna E Distribuzione. Sebbene ogni fase di una pipeline CI/CD possa essere eseguita manualmente, il valore reale di una pipeline CI/CD viene realizzato attraverso l’automazione.

  Costruire la pipeline CD CI Flake Snowflake utilizzando Azure DevOps & Flyway semplificata: 4 passaggi critici

  Gli acronimi CI e CD sono spesso utilizzati nelle moderne pratiche di sviluppo e DevOps. Integrazione continua (CI) si riferisce a una migliore pratica fondamentale DevOps in cui gli sviluppatori uniscono spesso il codice cambia in un repository centrale in cui vengono eseguite build e test automatizzati. D’altra parte, Consegna continua (CD) è un’estensione della continua integrazione in quanto distribuisce automaticamente tutte le modifiche al codice nell’ambiente di test e/o di produzione seguendo la fase di costruzione.

  Sommario

  Dopo un completo w. Questo articolo ti fornirà anche una guida passo-passo su come costruire un Snowflake CD CD Pipeline in modo senza soluzione di continuità. Leggi per saperne di più sulle condutture CD di Snowflake CI.

  Sommario

  • Prerequisiti
  • Cos’è Snowflake?
    • Caratteristiche chiave di Snowflake
    • Passaggio 1: crea un progetto demo
    • Passaggio 2: impostare l’ambiente di produzione
    • Passaggio 3: crea un gruppo variabile della libreria
    • Passaggio 4: creare ed eseguire una pipeline di distribuzione CD CI Snowflake CI

    Prerequisiti

    • Esperienza pratica con Git.
    • Un account attivo del fiocco di neve.
    • Un account Active Azure Devops Services.

    Cos’è Snowflake?

    Snowflake è uno dei più popolari Cloud Data Warehouses Ciò offre una pletora di funzionalità senza compromettere la semplicità. Si ridimensiona automaticamente, sia su e giù, per offrire il meglio Performance-to-cost rapporto. La caratteristica distintiva del fiocco di neve è che si separa Calcolo da Magazzinaggio. Questo è significativo come quasi tutti gli altri data warehouse, incluso Amazon Redshift, combina i due, il che implica devi considerare la dimensione del tuo carico di lavoro più alto e quindi incorrere i costi associati ad esso.

    Snowflake non richiede hardware o software per essere Scelto, installato, configurato o gestito, rendendolo ideale per le organizzazioni che non vogliono dedicare risorse a Setup, manutenzione e supporto di server interni. Ti consente di archiviare tutti i tuoi dati in una posizione centralizzata e dimensioni il calcolo in modo indipendente. Ad esempio, se hai bisogno tempo reale Carichi di dati Per trasformazioni complesse ma hai solo alcune domande complesse nel tuo reporting, è possibile scrivere un enorme magazzino di fiocchi di neve per il carico di dati e quindi ridimensionarlo dopo di esso’S finito – Tutto in tempo reale. Questo ti farà risparmiare una quantità significativa di denaro senza mettere a repentaglio i tuoi obiettivi di soluzione.

    Caratteristiche chiave di Snowflake

    Alcune delle caratteristiche chiave del fiocco di neve sono le seguenti:

    • Scalabilità: IL Calcolare E Magazzinaggio Le risorse sono separate in fiocchi di neve’ Multi-cluster Architettura di dati condivisa. Questa strategia offre agli utenti la possibilità di aumentare le risorse quando devono essere caricate rapidamente grandi quantità di dati e ridimensionare quando il processo è completo senza interrompere alcun tipo di operazione.
    • Nessuna amministrazione richiesta: Consente alle aziende di impostare e gestire una soluzione senza richiedere un ampio coinvolgimento da parte di amministratori di database o team IT. Non richiede l’installazione di software o la messa in servizio dell’hardware.
    • Sicurezza: Snowflake ospita una vasta gamma di funzionalità di sicurezza, da come gli utenti accedono a Snowflake a come vengono memorizzati i dati. Per limitare l’accesso al tuo account, è possibile gestire le politiche di rete mediante indirizzi IP di whitelisting. Snowflake supporta una varietà di metodi di autenticazione, incluso Autenticazione a due fattori E SSO attraverso Autenticazione federata.
    • Supporto per dati semi-strutturati: Fiocco di neve’S Architecture abilita la conservazione di Strutturato E Semi-strutturato dati nella stessa posizione utilizzando il VARIANTE schema sul Leggere tipo di dati. VARIANTE può archiviare dati strutturati e semi-strutturati. Una volta caricati i dati, Snowflake li analizza automaticamente, estrae gli attributi e li memorizza in un formato colonnare.

    Cos’è una pipeline CI/CD?

    Una pipeline CI/CD è una serie di procedure che devono essere seguite per fornire una nuova versione del software. Integrazione continua/Consegna continua (CI/CD) Le condutture sono una serie di pratiche volte a migliorare la consegna del software attraverso l’uso di a Devops o a Sito Affidabilità Engineering (SRE) approccio. Una pipeline CI/CD incorpora il monitoraggio e l’automazione per migliorare il processo di sviluppo dell’applicazione, in particolare durante il Integrazione E Test fasi, così come durante Consegna E Distribuzione. Sebbene ogni fase di una pipeline CI/CD possa essere eseguita manualmente, il valore reale di una pipeline CI/CD viene realizzato attraverso l’automazione.

    Molti team di sviluppo del software sono geograficamente dispersi o isolati, ma l’integrazione continua (CI) consente di evitare al contempo Unisci conflitti, bug e duplicazione. L’integrazione continua mantiene sempre aggiornato il ramo principale, ma può anche consentire rami isolati a breve termine o di caratteristiche per piccoli modifiche che possono eventualmente essere uniti nel ramo principale.

    La consegna continua consente uno sviluppo rapido e incrementale e consente ai team di sviluppo di creare e rilasciare software in qualsiasi momento. Aiuta anche i team DevOps nella riduzione dei costi e nell’aumento della velocità con cui vengono distribuite nuove versioni. La consegna continua richiede una struttura altamente ripetibile ed è spesso considerata un’estensione della continua integrazione. Più tardi in questo articolo, imparerai come costruire un Snowflake CI CD Pipeline.

    Cos’è Azure Devops?

    Azure Devops è un Software as a Service (SaaS) Piattaforma offerta da Microsoft che fornisce un toolchain DevOps end-to-end per lo sviluppo e la distribuzione di software. Si integra anche con la maggior parte del mercato’strumenti principali ed è una scelta eccellente per orchestrare una toolchain DevOps. Azure DevOps offre servizi per gli sviluppatori che consentono ai team di pianificare il proprio lavoro, collaborare allo sviluppo del codice e costruire e distribuire applicazioni. Azure DevOps promuove una cultura e una serie di procedure che riuniscono sviluppatori, project manager e collaboratori per collaborare allo sviluppo del software. Consente alle organizzazioni di creare e migliorare i prodotti a un ritmo molto più veloce rispetto agli approcci di sviluppo del software tradizionali.

    Cos’è Flyway?

    Flyway è un Open-source strumento autorizzato sotto Licenza Apache 2.0 che consente agli utenti di implementare automatizzati e basati sulla versione Migrazioni del database. Ti consente di definire le operazioni di aggiornamento necessarie in un file Script SQL O Codice Java. È possibile eseguire la migrazione del database da un client di riga di comando, come parte del processo di build o come parte dell’applicazione Java.

    Il vantaggio chiave di questo processo è che Flyway rileva ed esegue le operazioni di aggiornamento necessarie. Di conseguenza, non’t deve sapere quali istruzioni di aggiornamento SQL devono essere eseguite per aggiornare il database corrente. Tu e i tuoi colleghi potete semplicemente definire le operazioni di aggiornamento che verranno utilizzate per migrare il database da una versione alla successiva e Flyway rileverai la versione corrente ed eseguirà le operazioni di aggiornamento necessarie per aggiornare il database.

    In modo affidabile IOntegrate Data con Hevo’s Pipeline di dati di codice completamente automatizzato

    Se qualcosa come le società 1000+ basate sui dati che usano HEVO, oltre il 70% delle app aziendali che usi sono applicazioni SaaS. L’integrazione dei dati di queste fonti in modo tempestivo è fondamentale per alimentare l’analisi e le decisioni che ne sono prese. Ma dato quanto velocemente gli endpoint API ecc. Possono cambiare, creare e gestire queste condutture può essere un esercizio che succhia l’anima.
    Hevo’La piattaforma di pipeline di dati senza codice consente di collegare oltre 150 sorgenti in pochi minuti per fornire dati in tempo reale al tuo magazzino come Fiocco di neve. Che cosa’s di più, le capacità di trasformazione integrata e l’interfaccia utente intuitiva significa che anche i non ingegneri possono impostare pipeline e ottenere dati pronti per l’analisi in minuti.

    Tutto ciò combinato con prezzi trasparenti e supporto 24 × 7 ci rende il software di pipeline di dati più amato in termini di revisioni degli utenti.

    Prendi la nostra prova gratuita di 14 giorni per sperimentare un modo migliore per gestire le condutture di dati.

    Come costruire una pipeline CI/CD di fiocchi di neve utilizzando Azure DevOps e Flyway?

    Costruire una conduttura CD CI Flake Snowfulke è ampiamente un processo in 4 passaggi. Segui i passaggi indicati di seguito per eseguire e profondamente una pipeline CD CI di Snowflake:

    Passaggio 1: crea un progetto demo

    Il primo passo coinvolto nella costruzione di una pipeline CD CI Snowflake richiede di creare un progetto Demo Azure DevOps. Segui i passaggi indicati di seguito per farlo:

    • Crea database e un utente sfruttando il seguente script:

    -- Crea database Crea database flyway_demo comment = 'Azure DevOps Deployment Test'; Crea database flyway_demo_dev comment = 'Azure DevOps Test di distribuzione'; Crea database flyway_demo_qa comment = 'Azure DevOps Deployment Test'; - Crea un utente Distribuisci Crea utente DevopSuser Password = '' default_role = sysadmin;

    • Accedi al tuo account Azure DevOps utilizzando le credenziali appropriate.
    • Scegli il Organizzazione e fare clic sul blu colorato +Nuovo progetto pulsante.

    

    • Dai un nome unico e conciso al tuo progetto. Puoi anche aggiungere una descrizione per questo. Permettere’s nome il progetto come Snowflake_flyway Per il bene di questo tutorial.
    • Ora seleziona il Visibilità opzione per il tuo progetto e fare clic su Creare pulsante.

    

    Passaggio 2: impostare l’ambiente di produzione

    Devi avere un ambiente per aggiungere la fase di approvazione. Seguire i passaggi indicati di seguito per creare gli ambienti e le approvazioni necessari:

    • Torna alla home page di Azure Devops.
    • Passare alla barra di navigazione sul lato sinistro e fare clic su Ambienti opzione.
    • Dai un nome univoco all’ambiente di produzione e fai clic su Creare pulsante.

    

    • Per creare l’approvazione per l’ambiente di produzione, fare clic sui tre punti verticali situati accanto al Aggiungi risorsa pulsante.
    • Clicca sul Approvazioni e assegni Opzione per aggiungere un elenco di approvatori.

    

    Passaggio 3: crea un gruppo variabile della libreria

    Quando si dispone di una serie di variabili che verranno utilizzate in più pipeline, è possibile creare un gruppo variabile una volta e fare riferimento a più gruppi. Le librerie vengono utilizzate per memorizzare in modo sicuro variabili e file che verranno utilizzati nella pipeline CD CI Snowflake. Seguire i passaggi indicati di seguito per creare un gruppo variabile della libreria:

    

    • Nella barra di navigazione a sinistra, fai clic su Biblioteca presente sotto il Condutture opzione.
    • Sul Biblioteca pagina, navigare al file Gruppi variabili scheda.
    • Clicca sul +Gruppo variabile Pulsante per creare un nuovo gruppo variabile di libreria.
    • Dai un nome univoco al gruppo e aggiungi le seguenti variabili.

    SnowFlake_JDBC_URL = JDBC: SnowFlake: // SnowFlake_Account_Name =..SnowflakeComputing.com SnowFlake_warehouse = SnowFlake_Rolename = sysadmin SnowFlake_Devops_UserName = # Mark come tipo di variabile segreta SnowFlake_Devops_Secret = SnowFlake_Authenticator = SnowFlake

    

    • Dopo aver aggiunto correttamente tutte le variabili, non dimenticare di fare clic su Salva pulsante a destra del gruppo variabile’s nome. Ecco come sarebbe il tuo gruppo variabile:

    Passaggio 4: creare ed eseguire una pipeline di distribuzione CD CI Snowflake CI

    Ora, per creare una pipeline CD CI di Snowflake, seguire i passaggi indicati di seguito:

    • Nella barra di navigazione a sinistra, fare clic su Condutture opzione.
    • Se stai creando una pipeline per la prima volta, fai clic su Crea pipeline pulsante. Nel caso in cui hai già un’altra pipeline definita, quindi fai clic su Nuova pipeline pulsante.
    • Sul Collegare Scheda, selezionare il Azure Repos git opzione e selezionare il repository desiderato (Snowflake_flyway) nella schermata successiva.

    

    • Sul Configurare la pipeline Pagina, selezionare il Pipeline di avviamento opzione.

    

    • Infine, incollare il seguente pezzo di codice nel Rivedi il tuo yaml finale pagina.

    Variabili: - Gruppo: Snowflake.Database - Nome: DBName Valore: Flyway_Demo - Nome: FlyWayArfactName Valore: DatabaseECheAfacts - Nome: FlywayVmImage Valore: 'Ubuntu -16.04 ' - Nome: FlywayContainerImage Value:' Kulmam92/Flyway -Azure: 6.2.3 'trigger: - Master Stages: - Fase: Build Variabili: - Nome: dbname_postfix Valore: _dev lavori: - modello: modelli/snowflakeflywaybuild.Parametri YML: JobName: 'BuildDatabase' Databasename: $ (dbname) DataBAsePostFix: $ (dbname_postfix) artifactname: $ (flywayardafactname) vmimage: $ (flywayvmimage) containerImage: $ (flywayContainering) - Fase.Ama: DbnaMe: DBNAME: DBNAME: DBName Lavori: - Modello: modelli/SnowflakeflywayDeploy.yml parameters: jobName: DEV databaseName: $(DBNAME) databasePostfix: $(DBNAME_POSTFIX) artifactName: $(flywayartifactName) vmImage: $(flywayVmImage) containerImage: $(flywayContainerImage) environmentName: DEV - stage: QA variables: - name: DBNAME_POSTFIX value: _QA jobs: - template: templates/snowflakeFlywayDeploy.Parametri YML: Jobname: Qa Databasename: $ (dbname) DataBasEpostFix: $ (dbname_postfix) artifactname: $ (flywayartefactname) vmimage: $ (flywayvmimage) containerimage: Stringa vuota per lavori prod: - modello: modelli/snowflakeflywaydeploy.Parametri YML: Jobname: Prod Databasename: $ (dbname) DatabasepostFix: $ (dbname_postfix) artifactname: $ (flywayartfactname) vmimage: $ (flywayvmimage) containerimage: $ (flywaycontainerimage) ambiente: Prod

    

    • Dopo aver aggiunto correttamente il codice all’editor, fai clic su Salva ed esegui pulsante.

    Una volta seguiti tutti i passaggi spiegati sopra nella sequenza corretta, sarai in grado di costruire una pipeline CD CI da Snowflake da zero!

    Conclusione

    Questo blog ti ha fatto conoscere Snowflake insieme alle funzionalità salienti che offre. Inoltre, ti ha introdotto i passaggi necessari per costruire un Snowflake CD CD Pipeline da zero con Azure DevOps e Flyway.

    Man mano che la tua azienda inizia a crescere, i dati vengono generati a un ritmo esponenziale in tutta la tua azienda’SAAS SAAS Applicazioni, database e altre fonti. Per soddisfare questa crescente esigenze di archiviazione e calcolo dei dati, è necessario investire una parte della larghezza di banda ingegneristica per integrare i dati di tutte le fonti, pulirli e trasformarli e infine caricarli in un data warehouse cloud come Fiocco di neve Per ulteriori analisi aziendali. Tutte queste sfide possono essere gestite in modo efficiente da a Strumento ETL basato su cloud come i dati HEVO.

    Dati HEVO, una pipeline di dati senza codice fornisce una soluzione coerente e affidabile per gestire il trasferimento di dati tra una varietà di fonti e un’ampia varietà di destinazioni desiderate come Fiocco di neve, Con pochi clic. Dati HEVO con la sua forte integrazione con oltre 100 fonti (tra cui oltre 40 fonti gratuite) ti consente di esportare non solo i dati dalle origini dati desiderate e caricarli sulla destinazione di tua scelta, ma anche trasformare e arricchire i tuoi dati per renderli pronti per l’analisi in modo da poter concentrarti sulle esigenze chiave aziendali ed eseguire un’analisi approfondita utilizzando gli strumenti BI.

    Voglio prendere Hevo per un giro? Iscriviti qui per un Prova gratuita di 14 giorni e sperimenta in prima persona la suite Hevo Suite ricca di funzionalità. Puoi anche dare un’occhiata ai nostri prezzi imbattibili che ti aiuteranno a scegliere il piano giusto per le tue esigenze aziendali!

    Condividi la tua esperienza di costruzione a Snowflake CI CD Pipeline Nei commenti qui sotto!

    Fiocco di neve

    Il livello di supporto determina il grado di supporto disponibile per questo database (scopri di più).

    Autisti

    Formato URL	JDBC: Snowflake: //account.SnowflakeComputing.com/?db =Banca dati& Warehouse =magazzino& Role =ruolo (Opzionale e schema =schema Per specificare lo schema corrente)
    Navi con flyway comando-line	SÌ
    Coordinate centrali Maven	netto.Snowflake: Snowflake-jdbc: 3.6.23
    Versioni supportate	3.6.23 e più tardi
    Classe Java predefinita	netto.fiocco di neve.cliente.JDBC.Snowflodedriver

    Sintassi dello script SQL

    • Sintassi SQL standard con delimitatore dell’istruzione ;

    Compatibilità

    • DDL esportato dalla GUI Web Snowflake può essere utilizzato invariato in una migrazione a mosca
    • Qualsiasi script SQL eseguito da Flyway, può essere eseguito dalla GUI Web Snowflake (dopo che i segnaposto sono stati sostituiti)
    • Il conducente del fiocco di neve richiede Java 8+. Non c’è supporto da Snowflake per gli utenti Java 7.

    Esempio

    / * Commento a riga singola */ create tabella test_data (valore varchar (25) non null chiave primaria); / * Commento multi-riga */-Commento in stile SQL-Inserto segnaposto in $ (nome) VALORI ('MR. T');

    Autenticazione a chiave

    Snowflake JDBC supporta l’autenticazione basata su chiave. Per usare questo, dovrai:

    • Assicurati di utilizzare almeno V3.11 del driver JDBC Snowflake (Flyway attualmente viene spedito con questa versione)
    • generare una coppia di chiavi pubbliche/private
    • Assegna la chiave pubblica all’account utente di Snowflake pertinente utilizzando l’alter utente – Per istruzioni complete su questi passaggi, fare riferimento a Snowflake’Documentazione S

    Infine, modifica la tua stringa di connessione JDBC con i parametri extra per abilitare l’autenticazione basata sulla chiave e per fare riferimento alla posizione della chiave privata: Autenticator = SnowFlake_Jwt & private_key_file = .

    Limitazioni

    • Le migrazioni parallele come descritto qui non sono disponibili in Snowflake. Puoi monitorare lo stato di questa funzione nei nostri problemi di GitHub qui.

    Integrazione flyway con GIT e connessione a Snowflake

    Abbiamo un database esistente con diverse tabelle e ogni volta che apportiamo modifiche allo schema di una tabella abbiamo dovuto eseguire alcuni script manuali per evitare qualsiasi perdita di dati. Siamo alla ricerca di software in grado di integrare con il nostro Repo Git e generare i DDL aggiornati per il database. Mi sono imbattuto nello strumento di migrazione del database Flyway e esaminando la documentazione aveva questa domanda sull’integrazione con Code Repo in cui vengono spinte le modifiche allo schema del database. Flyway funziona anche con Snowflake. Se sì, dove posso aggiungere i driver JDBC richiesti per connettersi al database e quale sarebbe il .File conf per la connessione Snowflake.

    ha chiesto il 22 febbraio 2019 alle 20:12

    67 4 4 badge d’argento 18 18 badge in bronzo

    3 risposte 3

    Flyway ufficialmente non funziona con Snowflake al momento (come puoi vedere lì https: // github.com/flyway/flyway/pull/2274). Secondo questa discussione sembra esserci una forchetta compatibile con il fiocco di neve esistente, tuttavia non consiglierei di provarlo su un sistema di produzione senza controllarlo pesantemente, ma se ne hai davvero bisogno potrebbe valere la pena dare un’occhiata.

    Per quanto riguarda l’integrazione di Flyway con GIT, puoi integrare Flyway nel tuo processo CI, tirando l’immagine Docker Flyway (https: // github.com/flyway/flyway -docker) o usando la tua immagine se decidi di scegliere una forcella compatibile con fiocchi di neve e eseguendo il comando migra contro il tuo database di destinazione/i).

    Risposta il 12 marzo 2019 alle 16:02

    11 1 1 badge d’argento 2 2 badge in bronzo

    Grazie per la risposta. La compatibilità flyway con altri database è buona. Stiamo guardando le opzioni. Non vedo l’ora che tu aggiunga l’opzione Snowflake

    13 marzo 2019 alle 5:55

    Non sono la persona che lavora su questa richiesta di pull purtroppo 🙂 ma il mio team ha funzionato nello stesso identico numero di te. Penso che tu possa controllare Liquibase e Sqitch !

    Fiocco di neve

    Il livello di supporto determina il grado di supporto disponibile per questo database (scopri di più).

    Autisti

    Formato URL	JDBC: Snowflake: //account.SnowflakeComputing.com/?db =Banca dati& Warehouse =magazzino& Role =ruolo (Opzionale e schema =schema Per specificare lo schema corrente)
    Navi con flyway comando-line	SÌ
    Coordinate centrali Maven	netto.Snowflake: Snowflake-jdbc
    Versioni supportate	3.6.23 e più tardi
    Classe Java predefinita	netto.fiocco di neve.cliente.JDBC.Snowflodedriver

    Sintassi dello script SQL

    • Sintassi SQL standard con delimitatore dell’istruzione ;

    Compatibilità

    • DDL esportato dalla GUI Web Snowflake può essere utilizzato invariato in una migrazione a mosca
    • Qualsiasi script SQL eseguito da Flyway, può essere eseguito dalla GUI Web Snowflake (dopo che i segnaposto sono stati sostituiti)
    • Il conducente del fiocco di neve richiede Java 8+. Non c’è supporto da Snowflake per gli utenti Java 7.

    Esempio

    / * Commento a riga singola */ create tabella test_data (valore varchar (25) non null chiave primaria); / * Commento multi-riga */-Commento in stile SQL-Inserto segnaposto in $ (nome) VALORI ('MR. T');

    Autenticazione a chiave

    Snowflake JDBC supporta l’autenticazione basata su chiave. Per usare questo, dovrai:

    • Assicurati di utilizzare almeno V3.11 del driver JDBC Snowflake (Flyway attualmente viene spedito con questa versione)
    • generare una coppia di chiavi pubbliche/private
    • Assegna la chiave pubblica all’account utente di Snowflake pertinente utilizzando l’alter utente – Per istruzioni complete su questi passaggi, consultare la documentazione di Snowflake

    Infine, modifica la tua stringa di connessione JDBC con i parametri extra per abilitare l’autenticazione basata sulla chiave e per fare riferimento alla posizione della chiave privata: Autenticator = SnowFlake_Jwt & private_key_file = .

    Limitazioni

    • Le migrazioni parallele come descritto qui non sono disponibili in Snowflake. Puoi monitorare lo stato di questa funzione nei nostri problemi di GitHub qui.
    • Gli utenti che utilizzano Java 16 o superiore, che includono il JRE spedito nella riga di comando Java, dovranno aggiungere il seguente argomento JVM a Java_args-Add-Opens Java.base/java.Lang = tutto non nato . Questo può essere fatto tramite la riga di comando o le variabili di ambiente Ciò è dovuto a una modifica nel runtime di Java 16 che provoca un errore all’interno del driver JDBC di Snowflake.

    Non ho trovato quello che stavi cercando?

    • Visita il Forum Redgate
    • Contatta il supporto