PASS Data Community Summit

Un pipeline CI / CD est un ensemble de procédures qui doivent être suivies afin de livrer une nouvelle version du logiciel. Intégration continue / livraison continue (CI / CD) Les pipelines sont un ensemble de pratiques visant à améliorer la livraison des logiciels grâce à l’utilisation d’un DevOps ou un Ingénierie de fiabilité du site (SRE) approche. Un pipeline CI / CD intègre la surveillance et l’automatisation pour améliorer le processus de développement des applications, en particulier pendant le L’intégration et Essai phases, ainsi que pendant Livraison et Déploiement. Bien que chaque étape d’un pipeline CI / CD puisse être effectuée manuellement, la véritable valeur d’un pipeline CI / CD est réalisée par l’automatisation.

Construire un pipeline CD CI Flake CI Utilisation d’Azure DevOps & Flyway Simplified: 4 Étapes critiques

Les acronymes CI et CD sont fréquemment utilisés dans les pratiques de développement modernes et DevOps. Intégration continue (IC) fait référence à une meilleure pratique de DevOps fondamentale dans laquelle les développeurs fusionnent fréquemment les changements de code en un référentiel central où les versions et tests automatisés sont exécutés. D’autre part, Livraison continue (CD) est une extension de l’intégration continue car elle déploie automatiquement toutes les modifications de code dans l’environnement de test et / ou de production après l’étape de construction.

Table des matières

Sur une procédure complète de cet article, vous obtiendrez une compréhension décente du flocon de neige avec les principales caractéristiques qu’il propose. Cet article vous fournira également un guide étape par étape sur la façon de construire un CD de Snowflake CI Pipeline d’une manière transparente. Lisez pour en savoir plus sur les pipelines Snowflake CI CD.

Table des matières

• Conditions préalables
• Qu’est-ce que le flocon de neige?
  • Caractéristiques clés du flocon de neige
  • Étape 1: Créez un projet de démonstration
  • Étape 2: Configurer l’environnement de production
  • Étape 3: Créez un groupe de variables de bibliothèque
  • Étape 4: Créez et exécutez un pipeline de déploiement du CD de Snowflake CI

  Conditions préalables

  • Expérience pratique avec Git.
  • Un compte de flocon de neige actif.
  • Un compte actif Azure DevOps Services.

  Qu’est-ce que le flocon de neige?

  Snowflake est l’un des plus populaires Entrepôts de données cloud qui offre une pléthore de fonctionnalités sans compromettre la simplicité. Il évolue automatiquement, à la fois de haut en bas, pour offrir le meilleur Performance à coût rapport. La caractéristique distinctive du flocon de neige est qu’elle se sépare L’informatique depuis Stockage. Ceci est significatif car presque tous les autres entrepôts de données, y compris Amazon Redshift, combinent les deux, ce qui implique que vous devez considérer la taille de votre charge de travail la plus élevée, puis entraîner les coûts qui y sont associés.

  Snowflake ne nécessite aucun matériel ou logiciel Choisi, installé, configuré ou géré, Le rendre idéal pour les organisations qui ne souhaitent pas consacrer des ressources Configuration, maintenance et support des serveurs internes. Il vous permet de stocker toutes vos données dans un emplacement centralisé et de tailler votre calcul indépendamment. Par exemple, si vous avez besoin temps réel charges de données Pour des transformations complexes, mais ne disposez que de quelques requêtes complexes dans vos rapports, vous pouvez scripter un entrepôt de flocon de neige massif pour la charge de données, puis les redire après’S fini – Tout en temps réel. Cela vous fera économiser une somme d’argent importante sans compromettre les objectifs de votre solution.

  Caractéristiques clés du flocon de neige

  Certaines des principales caractéristiques du flocon de neige sont les suivantes:

  • Évolutivité: Le Calculer et Stockage Les ressources sont séparées dans les flocons de neige’ Multi-cluster Architecture de données partagée. Cette stratégie donne aux utilisateurs la possibilité d’élargir les ressources lorsque de grandes quantités de données doivent être chargées rapidement et rééverser lorsque le processus est terminé sans perturber tout type d’opération.
  • Aucune administration requise: Il permet aux entreprises de configurer et de gérer une solution sans nécessiter une implication approfondie des administrateurs de base de données ou des équipes informatiques. Il ne nécessite pas l’installation de logiciels ou la mise en service du matériel.
  • Sécurité: Snowflake abrite un large éventail de fonctionnalités de sécurité, de la façon dont les utilisateurs accèdent à Snowflake à la façon dont les données sont stockées. Pour restreindre l’accès à votre compte, vous pouvez gérer les stratégies de réseau par les adresses IP de liste blanche. Snowflake prend en charge une variété de méthodes d’authentification, notamment Authentification à deux facteurs et SSO via Authentification fédérée.
  • Prise en charge des données semi-structurées: Flocon de neige’L’architecture S permet le stockage de Structuré et Semi-structuré les données au même endroit en utilisant le UNE VARIANTE schéma sur le Lire Type de données. UNE VARIANTE peut stocker des données structurées et semi-structurées. Une fois les données chargées, Snowflake les analyse automatiquement, en extrait les attributs et les stocke dans un format en colonnes.

  Qu’est-ce qu’un pipeline CI / CD?

  Un pipeline CI / CD est un ensemble de procédures qui doivent être suivies afin de livrer une nouvelle version du logiciel. Intégration continue / livraison continue (CI / CD) Les pipelines sont un ensemble de pratiques visant à améliorer la livraison des logiciels grâce à l’utilisation d’un DevOps ou un Ingénierie de fiabilité du site (SRE) approche. Un pipeline CI / CD intègre la surveillance et l’automatisation pour améliorer le processus de développement des applications, en particulier pendant le L’intégration et Essai phases, ainsi que pendant Livraison et Déploiement. Bien que chaque étape d’un pipeline CI / CD puisse être effectuée manuellement, la véritable valeur d’un pipeline CI / CD est réalisée par l’automatisation.

  1. Quel est le but d’un pipeline CI / CD?

  Le but d’un pipeline CI / CD est de livrer une nouvelle version du logiciel en suivant un ensemble de procédures définies. Il vise à améliorer la livraison des logiciels grâce à l’utilisation de l’automatisation et de la surveillance pendant les phases d’intégration, de test, de livraison et de déploiement du processus de développement des applications.

  2. Comment l’intégration continue (IC) s’intègre-t-elle dans un pipeline CI / CD?

  L’intégration continue (CI) est une meilleure pratique de DevOps fondamentale où les développeurs fusionnent fréquemment les changements de code en un référentiel central où les versions et tests automatisés sont exécutés. Il garantit que les modifications du code sont intégrées en douceur et que tous les conflits ou problèmes sont identifiés au début du processus de développement.

  3. Qu’est-ce que la livraison continue (CD) dans un pipeline CI / CD?

  La livraison continue (CD) est une extension de l’intégration continue où toutes les modifications de code sont automatiquement déployées dans l’environnement de test et / ou de production après l’étape de construction. Il garantit que les mises à jour ou les améliorations du logiciel sont livrées aux utilisateurs efficacement et cohérentes.

  4. Chaque étape d’un pipeline CI / CD peut-elle être effectuée manuellement?

  Oui, chaque étape d’un pipeline CI / CD peut être effectuée manuellement. Cependant, la vraie valeur d’un pipeline CI / CD est réalisée par l’automatisation. L’exécution manuelle des étapes du pipeline peut prendre du temps et sujet à des erreurs humaines, tandis que l’automatisation améliore l’efficacité et assure des résultats cohérents.

  5. Quel est le principal avantage de l’automatisation d’un pipeline CI / CD?

  L’avantage clé de l’automatisation d’un pipeline CI / CD est une amélioration de l’efficacité et de la cohérence dans la livraison du logiciel. L’automatisation réduit l’effort manuel et permet aux développeurs de se concentrer sur le codage plutôt que d’effectuer des tâches répétitives. Il garantit également que chaque changement de code passe par le même ensemble de tests et d’étapes de déploiement, ce qui se traduit par un logiciel plus fiable et stable.

  6. Comment une organisation peut-elle bénéficier de la mise en œuvre d’un pipeline CI / CD?

  En mettant en œuvre un pipeline CI / CD, les organisations peuvent bénéficier d’une livraison de logiciels plus rapide, d’une réduction du temps sur le marché, d’une meilleure qualité de code et d’une productivité accrue des développeurs. Il permet aux équipes d’itérer et de publier des logiciels plus fréquemment, de répondre rapidement aux commentaires des clients et de fournir de nouvelles fonctionnalités et mises à jour avec un temps d’arrêt minimal.

  7. Quelles sont les conditions préalables pour construire un pipeline CI / CD de flocon de neige à l’aide d’Azure DevOps et de la voie de migration?

  Les conditions préalables à la construction d’un pipeline CI / CD de flocon de neige à l’aide d’Azure DevOps et de Flyway comprennent une expérience pratique avec Git, un compte Snowflake actif et un compte Azure DevOps actif DevOps.

  8. Quelles sont les principales caractéristiques du flocon de neige?

  Certaines caractéristiques clés du flocon de neige incluent l’évolutivité, aucune administration requise, de solides mesures de sécurité et un support pour les données semi-structurées. Il offre une mise à l’échelle automatique des ressources de calcul et de stockage, simplifiant la gestion. SnowFlake fournit également des fonctionnalités de sécurité robustes pour l’accès aux données et prend en charge le stockage de données structurées et semi-structurées.

  9. En quoi Snowflake diffère-t-il des autres entrepôts de données?

  Snowflake se différencie des autres entrepôts de données en séparant l’informatique du stockage. Contrairement à d’autres entrepôts de données, tels que Amazon Redshift, qui combinent l’informatique et le stockage, Snowflake permet aux utilisateurs de faire évoluer le calcul et le stockage indépendamment. Cette flexibilité permet aux utilisateurs d’optimiser les coûts et les performances en fonction de leurs exigences de charge de travail spécifiques.

  dix. Quels avantages offrent des flocon de neige pour gérer les charges de données en temps réel et les requêtes complexes?

  Snowflake offre des avantages pour la gestion des charges de données en temps réel et des requêtes complexes en permettant aux utilisateurs de scripter un entrepôt de flocon de neige massif pour les charges de données, puis de les retirer après la fin, le tout en temps réel. Cette approche permet d’économiser des coûts importants tout en garantissant un traitement efficace des charges de données en temps réel et des requêtes complexes.

  PASS Data Community Summit

  Un pipeline CI / CD est un ensemble de procédures qui doivent être suivies afin de livrer une nouvelle version du logiciel. Intégration continue / livraison continue (CI / CD) Les pipelines sont un ensemble de pratiques visant à améliorer la livraison des logiciels grâce à l’utilisation d’un DevOps ou un Ingénierie de fiabilité du site (SRE) approche. Un pipeline CI / CD intègre la surveillance et l’automatisation pour améliorer le processus de développement des applications, en particulier pendant le L’intégration et Essai phases, ainsi que pendant Livraison et Déploiement. Bien que chaque étape d’un pipeline CI / CD puisse être effectuée manuellement, la véritable valeur d’un pipeline CI / CD est réalisée par l’automatisation.

  Construire un pipeline CD CI Flake CI Utilisation d’Azure DevOps & Flyway Simplified: 4 Étapes critiques

  Les acronymes CI et CD sont fréquemment utilisés dans les pratiques de développement modernes et DevOps. Intégration continue (IC) fait référence à une meilleure pratique de DevOps fondamentale dans laquelle les développeurs fusionnent fréquemment les changements de code en un référentiel central où les versions et tests automatisés sont exécutés. D’autre part, Livraison continue (CD) est une extension de l’intégration continue car elle déploie automatiquement toutes les modifications de code dans l’environnement de test et / ou de production après l’étape de construction.

  Table des matières

  Sur une procédure complète de cet article, vous obtiendrez une compréhension décente du flocon de neige avec les principales caractéristiques qu’il propose. Cet article vous fournira également un guide étape par étape sur la façon de construire un CD de Snowflake CI Pipeline d’une manière transparente. Lisez pour en savoir plus sur les pipelines Snowflake CI CD.

  Table des matières

  • Conditions préalables
  • Qu’est-ce que le flocon de neige?
    • Caractéristiques clés du flocon de neige
    • Étape 1: Créez un projet de démonstration
    • Étape 2: Configurer l’environnement de production
    • Étape 3: Créez un groupe de variables de bibliothèque
    • Étape 4: Créez et exécutez un pipeline de déploiement du CD de Snowflake CI

    Conditions préalables

    • Expérience pratique avec Git.
    • Un compte de flocon de neige actif.
    • Un compte actif Azure DevOps Services.

    Qu’est-ce que le flocon de neige?

    Snowflake est l’un des plus populaires Entrepôts de données cloud qui offre une pléthore de fonctionnalités sans compromettre la simplicité. Il évolue automatiquement, à la fois de haut en bas, pour offrir le meilleur Performance à coût rapport. La caractéristique distinctive du flocon de neige est qu’elle se sépare L’informatique depuis Stockage. Ceci est significatif car presque tous les autres entrepôts de données, y compris Amazon Redshift, combinent les deux, ce qui implique que vous devez considérer la taille de votre charge de travail la plus élevée, puis entraîner les coûts qui y sont associés.

    Snowflake ne nécessite aucun matériel ou logiciel Choisi, installé, configuré ou géré, Le rendre idéal pour les organisations qui ne souhaitent pas consacrer des ressources Configuration, maintenance et support des serveurs internes. Il vous permet de stocker toutes vos données dans un emplacement centralisé et de tailler votre calcul indépendamment. Par exemple, si vous avez besoin temps réel charges de données Pour des transformations complexes, mais ne disposez que de quelques requêtes complexes dans vos rapports, vous pouvez scripter un entrepôt de flocon de neige massif pour la charge de données, puis les redire après’S fini – Tout en temps réel. Cela vous fera économiser une somme d’argent importante sans compromettre les objectifs de votre solution.

    Caractéristiques clés du flocon de neige

    Certaines des principales caractéristiques du flocon de neige sont les suivantes:

    • Évolutivité: Le Calculer et Stockage Les ressources sont séparées dans les flocons de neige’ Multi-cluster Architecture de données partagée. Cette stratégie donne aux utilisateurs la possibilité d’élargir les ressources lorsque de grandes quantités de données doivent être chargées rapidement et rééverser lorsque le processus est terminé sans perturber tout type d’opération.
    • Aucune administration requise: Il permet aux entreprises de configurer et de gérer une solution sans nécessiter une implication approfondie des administrateurs de base de données ou des équipes informatiques. Il ne nécessite pas l’installation de logiciels ou la mise en service du matériel.
    • Sécurité: Snowflake abrite un large éventail de fonctionnalités de sécurité, de la façon dont les utilisateurs accèdent à Snowflake à la façon dont les données sont stockées. Pour restreindre l’accès à votre compte, vous pouvez gérer les stratégies de réseau par les adresses IP de liste blanche. Snowflake prend en charge une variété de méthodes d’authentification, notamment Authentification à deux facteurs et SSO via Authentification fédérée.
    • Prise en charge des données semi-structurées: Flocon de neige’L’architecture S permet le stockage de Structuré et Semi-structuré les données au même endroit en utilisant le UNE VARIANTE schéma sur le Lire Type de données. UNE VARIANTE peut stocker des données structurées et semi-structurées. Une fois les données chargées, Snowflake les analyse automatiquement, en extrait les attributs et les stocke dans un format en colonnes.

    Qu’est-ce qu’un pipeline CI / CD?

    Un pipeline CI / CD est un ensemble de procédures qui doivent être suivies afin de livrer une nouvelle version du logiciel. Intégration continue / livraison continue (CI / CD) Les pipelines sont un ensemble de pratiques visant à améliorer la livraison des logiciels grâce à l’utilisation d’un DevOps ou un Ingénierie de fiabilité du site (SRE) approche. Un pipeline CI / CD intègre la surveillance et l’automatisation pour améliorer le processus de développement des applications, en particulier pendant le L’intégration et Essai phases, ainsi que pendant Livraison et Déploiement. Bien que chaque étape d’un pipeline CI / CD puisse être effectuée manuellement, la véritable valeur d’un pipeline CI / CD est réalisée par l’automatisation.

    De nombreuses équipes de développement de logiciels sont géographiquement dispersées ou isolées, mais l’intégration continue (IC) permet un développement rapide tout en évitant Fusionner les conflits, les bugs et la duplication. L’intégration continue maintient toujours la branche principale à jour, mais elle peut également permettre des branches de côté ou de caractéristiques isolées à court terme pour des modifications mineures qui peuvent éventuellement être fusionnées dans la branche principale.

    La livraison continue permet un développement rapide et incrémentiel et permet aux équipes de développement de créer et de libérer des logiciels à tout moment. Il aide également les équipes DevOps à réduire les coûts et à augmenter la vitesse à laquelle de nouvelles versions sont déployées. La livraison continue nécessite une structure hautement reproductible et est fréquemment considérée comme une extension de l’intégration continue. Plus tard dans cet article, vous apprendrez à construire un Pipeline de CD de flocon de neige.

    Qu’est-ce que Azure DevOps?

    Azure DevOps est un Logiciel en tant que service (SaaS) Plateforme offerte par Microsoft qui fournit une chaîne d’outils DevOps de bout en bout pour développer et déployer des logiciels. Il s’intègre également à la majorité du marché’S les principaux outils et est un excellent choix pour orchestrer une chaîne d’outils DevOps. Azure DevOps propose des services de développeur qui permettent aux équipes de planifier leur travail, de collaborer sur le développement de code et de créer et de déployer des applications. Azure DevOps favorise une culture et un ensemble de procédures qui réunissent les développeurs, les chefs de projet et les contributeurs pour collaborer au développement de logiciels. Il permet aux organisations de créer et d’améliorer les produits à un rythme beaucoup plus rapide que les approches de développement logiciel traditionnelles ne permettent.

    Qu’est-ce que la passerelle?

    La voie de survol est un Open source outil sous licence sous Licence Apache 2.0 Cela permet aux utilisateurs d’implémenter Migrations de base de données. Il vous permet de définir les opérations de mise à jour nécessaires dans un Script SQL ou Code java. Vous pouvez exécuter la migration de la base de données à partir d’un client de ligne de commande, dans le cadre de votre processus de construction, ou dans le cadre de votre application Java.

    L’avantage clé de ce processus est que Flyway détecte et exécute les opérations de mise à jour nécessaires. En conséquence, vous ne’t besoin de savoir quelles instructions de mise à jour SQL doivent être exécutées afin de mettre à jour votre base de données actuelle. Vous et vos collègues pouvez simplement définir les opérations de mise à jour qui seront utilisées pour migrer la base de données d’une version à la prochaine et la voile de volée détectera la version actuelle et exécutera les opérations de mise à jour nécessaires pour mettre à jour la base de données.

    De manière fiable jentegrate Data avec hevo’s entièrement automatisé sans pipeline de données de code

    Si le vôtre quelque chose comme les 1000+ entreprises axées sur les données qui utilisent HEVO, plus de 70% des applications commerciales que vous utilisez sont des applications SaaS. L’intégration des données de ces sources en temps opportun est cruciale pour l’analyse du carburant et les décisions qui en sont prises. Mais étant donné la vitesse à laquelle les points de terminaison de l’API peuvent changer, la création et la gestion de ces pipelines peuvent être un exercice de sursaut d’âme.
    Hevo’S Platform de pipeline de données sans code vous permet de connecter plus de plus de 150 sources en quelques minutes pour fournir des données en temps quasi réel à votre entrepôt, comme Flocon de neige. Quoi’S PLUS, les capacités de transformation intégrées et l’interface utilisateur intuitive signifie que même les non-ingénieurs peuvent configurer des pipelines et obtenir des données prêtes pour l’analyse en quelques minutes.

    Tout cela combiné à une tarification transparente et à une prise en charge 24 × 7 fait de nous le logiciel de pipeline de données le plus aimé en termes de revues d’utilisateurs.

    Prenez notre essai gratuit de 14 jours pour vivre une meilleure façon de gérer les pipelines de données.

    Comment construire un pipeline CI / CD du flocon de neige à l’aide d’Azure DevOps et de la voie de pulvérisation?

    Construire un pipeline CD CI Flake CI est largement un processus en 4 étapes. Suivez les étapes ci-dessous pour exécuter et profondément un pipeline CD CI Flake CI:

    Étape 1: Créez un projet de démonstration

    La première étape impliquée dans la construction d’un pipeline CD CI Flake CI vous oblige à créer un projet Demo Azure DevOps. Suivez les étapes ci-dessous pour le faire:

    • Créer des bases de données et un utilisateur en tirant parti du script suivant:

    -- Créer des bases de données Créer une base de données Flyway_demo comment = 'Azure DevOps Deployment Test'; Créer une base de données Flyway_demo_dev Commentaire = 'Azure DevOps Deployment Test'; Créer une base de données Flyway_demo_qa commentaire = 'Azure DevOps Deployment Test'; - Créer un déploiement de l'utilisateur Créer l'utilisateur DevOpSuser Password = '' Default_role = sysadmin;

    • Connectez-vous à votre compte Azure DevOps en utilisant les informations d’identification appropriées.
    • Choisir la Organisation et cliquez sur la couleur bleue +Nouveau projet bouton.

    

    • Donnez un nom unique et concis à votre projet. Vous pouvez également en ajouter une description. Laisser’S Nommez le projet comme Snowflake_flyway Pour le bien de ce tutoriel.
    • Maintenant, sélectionnez le Visibilité Option pour votre projet et cliquez sur le Créer bouton.

    

    Étape 2: Configurer l’environnement de production

    Vous devez avoir un environnement pour ajouter l’étape d’approbation. Suivez les étapes ci-dessous pour créer les environnements et approbations nécessaires:

    • Retour à la page d’accueil d’Azure DevOps.
    • Accédez à la barre de navigation du côté gauche et cliquez sur le Environnements option.
    • Donnez un nom unique à l’environnement de production et cliquez sur le Créer bouton.

    

    • Pour créer l’approbation de l’environnement de production, cliquez sur les trois points verticaux situés à côté du Ajouter des ressources bouton.
    • Clique sur le Approbations et chèques Option pour ajouter une liste d’approcheurs.

    

    Étape 3: Créez un groupe de variables de bibliothèque

    Lorsque vous avez un ensemble de variables qui seront utilisées dans plusieurs pipelines, vous pouvez créer un groupe variable une fois et le référencer en plusieurs groupes. Les bibliothèques sont utilisées pour stocker en toute sécurité des variables et des fichiers qui seront utilisés dans votre pipeline de CD de SnowFlake CI. Suivez les étapes ci-dessous pour créer un groupe de variables de bibliothèque:

    

    • Dans la barre de navigation gauche, cliquez sur Bibliothèque présent sous le Pipelines option.
    • Sur le Bibliothèque page, accédez à la Groupes variables languette.
    • Clique sur le +Groupe variable bouton pour créer un nouveau groupe de variables de bibliothèque.
    • Donnez un nom unique au groupe et ajoutez-y les variables suivantes.

    Neigeflake_jdbc_url = jdbc: neigeflake: // neigeflake_account_name =..SnowflakeComputing.com Snowflake_warehouse = Snowflake_rolename = Sysadmin Snowflake_Devops_Username = # Mark comme un type de variable secret Snowflake_devops_secret = Snowflake_Authenticator = Snowflake

    

    • Une fois que vous avez réussi à ajouter toutes les variables, n’oubliez pas de cliquer sur le Sauvegarder bouton à droite du groupe variable’Le nom de. C’est à quoi ressemblerait votre groupe variable:

    Étape 4: Créez et exécutez un pipeline de déploiement du CD de Snowflake CI

    Maintenant, pour créer un pipeline CD CI Flake CI, suivez les étapes ci-dessous:

    • Dans la barre de navigation de gauche, cliquez sur le Pipelines option.
    • Si vous créez un pipeline pour la première fois, cliquez sur le Créer un pipeline bouton. Dans le cas, vous avez déjà un autre pipeline défini, puis cliquez sur le Nouveau pipeline bouton.
    • Sur le Connecter onglet, sélectionnez le Azure Repos Git Option, et sélectionnez le référentiel souhaité (Snowflake_flyway) sur l’écran suivant.

    

    • Sur le Configurez votre pipeline page, sélectionnez le Pipeline de démarrage option.

    

    • Enfin, collez le morceau de code suivant dans le Passez en revue votre dernier yaml page.

    Variables: - Groupe: flocon de neige.Base de données - Nom: DBName Valeur: Flyway_demo - Nom: FlywayArtifactName Valeur: DatabaseArfacts - Nom: FlywayVMimage Value: 'Ubuntu-16.04 '- Nom: FlywayContaineRerimage Valeur:' KulMam92 / Flyway-Azure: 6.2.3 'Trigger: - Master Stages: - Stage: Build Variables: - Nom: DBNAME_POSTFIX Valeur: _dev Jobs: - Modèle: Modèles / SnowflakeFlywayBuild.Paramètres YML: JobName: `` BuildDatabase '' Databasename: $ (dbname) DatabasePostFix: $ (dbname_postfix) ArtifactName: $ (FlywayArtifactName) vMimage: $ (flywayvmimage) contenerimage: $ (FlywayContailerimage) - Stage:: Varie de dev Emplois: - Modèle: modèles / snowflakeflywaydeploy.Paramètres YML: JobName: Dev Databasename: $ (dbname) DatabasePostFix: $ (dbname_postfix) artifactName: $ (FlywayartifactName) vMimage: $ (flywayvmimage) Containerrimage: $ (nawaycontainerime) Emplois: - Modèle: modèles / snowflakeflywaydeploy.Paramètres YML: JobName: QA Databasename: $ (dbname) DatabasePostFix: $ (dbname_postFix) artifactName: $ (FlywayartifactName) vMimage: $ (FlywayVMimage) ContaineriMage: «FlywayContairime) String vide pour les travaux de prod: - Modèle: modèles / neigeflakeflywaydeploy.Paramètres YML: JobName: prod databasename: $ (dbname) databasepostFix: $ (dbname_postfix) artifactName: $ (flywayartifactName) vMimage: $ (flywayvmimage) contenerimage: $ (flywaystainrimerim)

    

    • Une fois que vous avez réussi à ajouter le code à l’éditeur, cliquez sur le Sauver et courir bouton.

    Une fois que vous avez suivi toutes les étapes expliquées ci-dessus dans la séquence correcte, vous pourrez construire un pipeline CD CI Flake CI à partir de zéro!

    Conclusion

    Ce blog vous a présenté Snowflake avec les fonctionnalités saillantes qu’il offre. De plus, il vous a présenté les étapes nécessaires pour construire un CD de Snowflake CI Pipeline à partir de zéro à l’aide d’Azure DevOps et de la voie de pulvérisation.

    Alors que votre entreprise commence à croître, les données sont générées à un rythme exponentiel dans toute votre entreprise’Applications SAAS, bases de données et autres sources. Pour répondre à ces besoins croissants de stockage et informatique des données, vous devrez investir une partie de votre bande passante d’ingénierie pour intégrer les données de toutes les sources, les nettoyer et les transformer, et enfin le charger en un entrepôt de données cloud telles que Flocon de neige Pour d’autres analyses commerciales. Tous ces défis peuvent être gérés efficacement par un Outil ETL basé sur le cloud tel que les données HEVO.

    Hevo Data, un pipeline de données sans code vous fournit une solution cohérente et fiable pour gérer le transfert de données entre une variété de sources et une grande variété de destinations souhaitées telles que Flocon de neige, En quelques clics. Données HEVO avec sa forte intégration avec plus de 100 sources (y compris plus de 40 sources libres) vous permet non seulement d’exporter des données à partir de vos sources de données souhaitées et de les charger à la destination de votre choix, mais aussi de transformer et d’enrichir vos données pour rendre l’analyse informatique prêt à vous concentrer sur les besoins de votre entreprise et effectuer une analyse perspicace à l’aide de BI Tools.

    Veux prendre Hevo pour faire un tour? Inscrivez-vous ici pour un Essai gratuit de 14 jours et découvrez la suite Hevo riche en fonctionnalités de première main. Vous pouvez également jeter un œil à nos prix imbattables qui vous aideront à choisir le bon plan pour les besoins de votre entreprise!

    Partagez votre expérience de construction d’un Pipeline de CD de flocon de neige Dans les commentaires ci-dessous!

    Flocon de neige

    Le niveau de support détermine le degré de support disponible pour cette base de données (en savoir plus).

    Conducteurs

    Format URL	JDBC: Snowflake: //compte.SnowflakeComputing.com /?db =base de données& entrepôt =entrepôt& Rôle =rôle (éventuellement et schéma =schéma pour spécifier le schéma actuel)
    Navires avec ligne de commande	Oui
    Coordonnées centrales de Maven	filet.Snowflake: Snowflake-jdbc: 3.6.23
    Versions prises en charge	3.6.23 et plus tard
    Classe Java par défaut	filet.flocon de neige.client.JDBC.Snowflakedriver

    Syntaxe de script SQL

    • Syntaxe SQL standard avec délimiteur de déclaration ;

    Compatibilité

    • DDL exporté par l’interface graphique Web de Snowflake peut être utilisé inchangé dans une migration de voile de volée
    • Tout script SQL exécuté par Flyway peut être exécuté par la GUI Web SnowFlake (après le remplacement des espaces réservés)
    • Le conducteur de flocon de neige a besoin de java 8+. Il n’y a pas de support de Snowflake pour les utilisateurs de Java 7.

    Exemple

    / * Commentaire à ligne unique * / créer une table test_data (valeur varchar (25) non null clé primaire); / * Commentaire multi-lignes * / - commentaire de style SQL - insert d'espace réservé dans les valeurs $ (nom) ('M. T ');

    Authentification par clé

    SnowFlake JDBC prend en charge l’authentification basée sur les clés. Pour l’utiliser, vous devrez:

    • Assurez-vous que vous utilisez au moins V3.11 du conducteur JDBC de SnowFlake (Flyway est actuellement expédié avec cette version)
    • générer une paire de clés publiques / privées
    • Attribuez la clé publique au compte d’utilisateur SnowFlake pertinent à l’aide de l’alter utilisateur – pour des instructions complètes sur ces étapes, reportez-vous à Snowflake’S documentation

    Enfin, modifiez votre chaîne de connexion JDBC avec les paramètres supplémentaires pour activer l’autant basé sur la clé et se référer à l’emplacement de la clé privée: authenticatrice = neigeflake_jwt & private_key_file = .

    Limites

    • Les migrations parallèles telles que décrites ici ne sont pas disponibles dans le flocon de neige. Vous pouvez suivre l’état de cette fonctionnalité dans nos problèmes GitHub ici.

    Intégration de la voie de la voie avec GIT et se connectant à Snowflake

    Nous avons une base de données existante avec plusieurs tables et chaque fois que nous apportons des modifications au schéma d’une table, nous avons dû exécuter certains scripts manuels pour éviter toute perte de données. Nous recherchons des logiciels qui peuvent s’intégrer à notre dépôt GIT et générer les DDL mis à jour pour la base de données. Je suis tombé sur l’outil de migration de la base de données de la voie de voile et que je paraissais la documentation avait cette question sur l’intégration avec le réapprovisionnement du code où les modifications du schéma de base de données sont poussées. Le travail de la voie de la voie avec Snowflake. Si oui, où puis-je ajouter les pilotes JDBC requis pour se connecter à la base de données et ce qui serait le .Fichier Conf pour la connexion Snowflake.

    demandé le 22 février 2019 à 20:12

    67 4 4 badges en argent 18 18 Badges en bronze

    3 Réponses 3

    Officiellement Flyway ne fonctionne pas avec Snowflake en ce moment (comme vous pouvez y voir https: // github.com / flyway / flyway / pull / 2274). Selon cette discussion, il semble y avoir une fourche compatible avec des flocons de neige existant, mais je ne recommanderais pas de le faire sur un système de production sans le vérifier fortement, mais si vous en avez vraiment besoin, cela peut valoir la peine de jeter un coup d’œil.

    En ce qui concerne l’intégration de la voie de pulvérisation avec GIT, vous pouvez intégrer la voie de la voie de la voie dans votre processus CI, en tirant l’image Docker de la voile de volonté (https: // github.com / Flyway / Flyway-Docker) – ou en utilisant votre propre image si vous décidez d’opter pour une fourche compatible avec des flocons de neige – et exécuter la commande migrate contre votre base de données cible (s).

    répondu le 12 mars 2019 à 16h02

    11 1 1 badge en argent 2 2 badges en bronze

    Merci pour la réponse. La compatibilité des voies de route avec d’autres bases de données est bonne. Nous regardons les options. Dans l’attente d’ajouter une option de flocon de neige

    13 mars 2019 à 5:55

    Je ne suis pas la personne qui travaille sur cette demande de traction malheureusement 🙂 mais mon équipe a couru exactement dans le même problème que toi. Je pense que vous pouvez vérifier Liquibase et Sqitch !

    Flocon de neige

    Le niveau de support détermine le degré de support disponible pour cette base de données (en savoir plus).

    Conducteurs

    Format URL	JDBC: Snowflake: //compte.SnowflakeComputing.com /?db =base de données& entrepôt =entrepôt& Rôle =rôle (éventuellement et schéma =schéma pour spécifier le schéma actuel)
    Navires avec ligne de commande	Oui
    Coordonnées centrales de Maven	filet.Snowflake: Snowflake-JDBC
    Versions prises en charge	3.6.23 et plus tard
    Classe Java par défaut	filet.flocon de neige.client.JDBC.Snowflakedriver

    Syntaxe de script SQL

    • Syntaxe SQL standard avec délimiteur de déclaration ;

    Compatibilité

    • DDL exporté par l’interface graphique Web de Snowflake peut être utilisé inchangé dans une migration de voile de volée
    • Tout script SQL exécuté par Flyway peut être exécuté par la GUI Web SnowFlake (après le remplacement des espaces réservés)
    • Le conducteur de flocon de neige a besoin de java 8+. Il n’y a pas de support de Snowflake pour les utilisateurs de Java 7.

    Exemple

    / * Commentaire à ligne unique * / créer une table test_data (valeur varchar (25) non null clé primaire); / * Commentaire multi-lignes * / - commentaire de style SQL - insert d'espace réservé dans les valeurs $ (nom) ('M. T ');

    Authentification par clé

    SnowFlake JDBC prend en charge l’authentification basée sur les clés. Pour l’utiliser, vous devrez:

    • Assurez-vous que vous utilisez au moins V3.11 du conducteur JDBC de SnowFlake (Flyway est actuellement expédié avec cette version)
    • générer une paire de clés publiques / privées
    • Attribuez la clé publique au compte d’utilisateur SnowFlake pertinent à l’aide de l’alter utilisateur – pour des instructions complètes sur ces étapes, reportez-vous à la documentation de Snowflake

    Enfin, modifiez votre chaîne de connexion JDBC avec les paramètres supplémentaires pour activer l’autant basé sur la clé et se référer à l’emplacement de la clé privée: authenticatrice = neigeflake_jwt & private_key_file = .

    Limites

    • Les migrations parallèles telles que décrites ici ne sont pas disponibles dans le flocon de neige. Vous pouvez suivre l’état de cette fonctionnalité dans nos problèmes GitHub ici.
    • Les utilisateurs utilisant Java 16 ou plus, qui comprend le JRE expédié dans la ligne de commande Java, devra ajouter l’argument JVM suivant à Java_args – Add-ouvre Java.base / java.lang = tout inconnu . Cela peut être fait via la ligne de commande ou les variables d’environnement Cela est dû à un changement dans l’exécution de Java 16 qui provoque une erreur dans le pilote JDBC de Snowflake.

    Je n’ai pas trouvé ce que tu cherchais?

    • Visitez le Redgate Forum
    • Contactez le support