Tableaux de bord Snowsight pour Data Vault

Tableaux de bord Snowsight pour Data Vault


Snowflake continue d’établir la norme pour les données dans le cloud en éliminant la nécessité d’effectuer des tâches de maintenance sur votre plateforme de données et en vous donnant la liberté de choisir votre méthodologie de modèle de données pour le cloud. Un élément clé de toute entreprise n’est pas seulement la capacité de décider des objectifs stratégiques, mais aussi d’exécuter ces objectifs. Le succès de l’exécution est défini par la mesure, ce qu’il faut mesurer et comment le mesurer. Snowsight est une interface utilisateur graphique avec la possibilité de créer des tableaux de bord personnalisés simples sur les mesures de vos données.

Non seulement vous pouvez créer vos propres tableaux de bord sur les métriques de votre compte Snowflake, mais vous pouvez également définir des tableaux de bord sur votre propre cadre de test personnalisé. Dans cet article de blog, nous allons faire exactement cela : définir le cadre de test automatisé pour Data Vault, puis utiliser le résultat de ce cadre pour créer des tableaux de bord personnalisés.

C’est la deuxième partie de la série. Voici le catalogue du blog à venir :

  1. Magasin immuable, dates de fin virtuelles
  2. Tableaux de bord Snowsight pour Data Vault
  3. Constructions ponctuelles et arborescences de jointure
  4. Interroger des tables satellites VRAIMENT volumineuses
  5. Flux et tâches sur les vues
  6. INSERT multi-table conditionnel et où l’utiliser
  7. Politiques d’accès aux lignes et mutualisation
  8. Verrouillage du moyeu sur Snowflake
  9. Entrepôts virtuels et refacturation

Vous trouverez ci-dessous un rappel des types de table de coffre-fort de données :

Diagramme, texte Description générée automatiquement

Nous allons étendre l’animation d’orchestration que nous avons introduite dans le article de blog précédent avec une suite de tests.

Automatisation et orchestration du coffre-fort de données

Que testons-nous ?

Le cadre de test est destiné à s’exécuter immédiatement après le chargement des tables de coffre-fort de données respectives. Ceux-ci sont classés comme suit :

Screen Shot 2022 06 28 at 1.34.03 PM
  • Un concentrateur et une table de liens sont des listes uniques. La table satellite doit être unique par la clé parent et la date de chargement, où la clé parent est soit le centre-hash-key pour une table hub ou un lien-hash-key pour la table de liens.
  • Un fichier/table source est modélisé en concentrateurs, liens et satellites respectifs, et doit donc être réconcilié après chaque chargement.
  • La clé de hachage d’une table hub-satellite doit exister dans la table hub parent. La clé de hachage d’une table de liaison satellite doit exister dans la table de liaison parente. De plus, une clé de hachage de concentrateur dans une table de liens doit exister dans la ou les tables de concentrateur parent respectives.

La raison pour laquelle ces tests sont nécessaires est que dans Snowflake, vous pouvez définir des clés primaires, des clés étrangères et des contraintes d’unicité, mais Snowflake ne les applique pas. Pourquoi s’embêter à tenir compte de ces définitions en premier lieu ? Deux réponses :

  • Il facilite la migration depuis héritage plateformes de données
  • Ces métadonnées sont utiles pour les outils de modélisation de données à utiliser comme base pour la rétro-ingénierie et pour les outils de BI pour connaître les relations implicites entre les tables

Snowflake a estimé que l’application de telles contraintes limite en fait le délai de rentabilisation de l’analyse. Si vous pouvez garantir l’intégrité référentielle sans définir de structures d’index, alors vous avez réduit le besoin de maintenance de votre plate-forme. Les contraintes du modèle de données sont plutôt intégrées dans les pipelines de données prudents eux-mêmes. Le résultat des tests est de renforcer la confiance dans ce que nous avons déployé.

Modèles de test

Comme l’ensemble standard de types de tables Data Vault, nous pouvons définir un ensemble standard de scénarios de test (comme ci-dessus) et des tables pour stocker ces résultats de test.

Que sont-ils et que contiennent-ils ?

image2

En plus de tester les problèmes d’intégrité des données, nous pouvons également stocker :

  • Nouveau nombre de clés : une indication de la croissance a persisté en utilisant un flux sur chaque hub, lien et table satellite
  • Nombre de clés par étapes : contenu mis en scène dont les métriques sont stockées dans le cache de métadonnées de Snowflake*
  • Nombre de clés distinct : liste unique de clés étagées. Ceci est facultatif car cette requête nécessite une analyse complète de la partition du contenu préparé.
  • Nombre total de clés après chargement : métriques de table de coffre-fort de données stockées dans le cache de métadonnées de Snowflake*

*Le cache de métadonnées de Snowflake est toujours à jour et ne nécessite pas l’utilisation d’un entrepôt virtuel pour récupérer cette métrique.

Une fois les métriques établies, passons maintenant au tableau de bord !

Tableaux de bord Snowsight

Mirador est la nouvelle expérience utilisateur graphique de Snowflake qui est devenue généralement disponible en mars 2022. Outre la saisie semi-automatique et une expérience interactive généralement fluide, l’interface Snowsight permet au propriétaire d’un compte Snowflake de :

  • Développez du SQL natif Snowflake dans des feuilles de calcul et gérez les feuilles de calcul dans des dossiers
  • Charger et décharger de petites données (plutôt) vers et depuis Snowflake
  • Surveillez et analysez les requêtes et interfacez visuellement avec les procédures stockées, les pipelines de données, les fonctions définies par l’utilisateur, etc.
  • Surveiller l’utilisation du compte Snowflake et (si activé) l’utilisation de l’organisation
  • Créez et déployez graphiquement des objets au niveau du compte tels que des utilisateurs, des rôles, des entrepôts virtuels, des tâches, etc.
  • Créer et gérer une base de données et des schémas et leurs objets
  • Créer et gérer le partage de données et se tourner vers le marché des données pour les données partagées
  • Logez les tickets d’assistance directement via l’interface

Vous pouvez créer des tableaux de bord Snowsight personnalisés pour surveiller divers aspects de votre compte et utiliser la même interface pour interroger vos propres objets de données. Voyons comment en utilisant le framework de test.

Comptes de base

Une requête simple pour obtenir le nombre de toutes les tables de coffre-fort de données ; noter la :plage de dates filtre.

Tuile de compte simple

Détection d’erreur

Si des erreurs devaient se produire, elles peuvent facilement être visualisées. Ci-dessous, une erreur simulée.

yAYesB2SSZU4d qIWfvzMBhm pgkqhiMg8g715F17XazSbXCuqycwE94TerGywWIatD93xDrrJZAcTWduCGyK5eGDua0NXLtYyaRmzr B5 T09QP4rIw7SR8PEh6 lLU2gK5WE

La vignette du graphique d’erreurs affiche une tendance d’erreur

Une erreur d’enregistrement en double dans la table hub indique que plusieurs threads tentaient de se charger dans cette même table hub en même temps. Les chargeurs concentrateurs sont idempotents, mais si deux chargeurs ou plus chargent sur la même table en même temps, l’un des threads ne sera pas conscient que l’autre thread tente le même chargement sur la même table. Dans un autre article de blog, nous montrerons comment nous pouvons facilement résoudre ce problème dans Snowflake.

dNNachdbDVKRfXA1SRtafBT6hw607W7taXkKobbqCpnqg0EuoQqt09Si1HmjfMwFh MTLMmojhnEjsFDlyUB43M3u4cHH2bjBYM0JaviFfbY3vcyFOSUoLcQuSTmEfgZJ5zFE A

La vignette du nombre d’erreurs montre que le problème augmente

Grille de chaleur

Une grille thermique attribuera un code couleur à la métrique avec le nombre le plus élevé et montrera visuellement la croissance d’une métrique que vous choisissez ; dans cet exemple, nous alignons hub_account sur les tables hub_customer où nous pouvons voir que hub_account croît plus rapidement que hub_customer.

Af3vMzOrsr01 f0JlMxjb9hPDtp0W8Ch GUz9b39afMfqetajcfd5l9G9LQ9DXWmjigleXsGlApxfFMK zqHOnijvnC8akJf fAgCfu HgOO2f AjM2 lmJTV9hOG3KsTt2Gb00

Tuile de grille thermique pour mesurer la croissance de la table

Utiliser des filtres personnalisés

Plus tôt, nous avons montré l’un des filtres Snowsight qui est disponible par défaut : daterange. Cependant, nous pouvons également créer le nôtre.

IZw2D3yB51qPASUisZbbvvk1RSKTsWs8j1uWryT04sLjAhl4n TF9 XzVDo5kDlVK8CswUeJD7k8rm2jb sV9NEEg7rXjwnMOs2clTZbM WiUXMVEifCdMNcNS BvI DIUN9rfA

Utilisation d’un filtre personnalisé, sélection d’une table hub

Comment créer un filtre personnalisé

Rassembler tous les tableaux de bord

Enfin, les tuiles ci-dessus sont coagulées dans plusieurs tableaux de bord pour regrouper des tuiles similaires.

bKMDpYKSOq1HRsatxC8vszIi2rx34za2O8RSuyyoZh4 ozhWbikhheyDLf07oZfcXitw4VDLiU6glo2GoGzhAA2sliynHNgQWTXv eI9T Drd86ObMLwIX3SsH NHqas4ygj33Q

Résumé de tous les tableaux de bord

Gardez à l’esprit que Snowsight n’est pas destiné à remplacer le logiciel de reporting BI par son ensemble de fonctionnalités robustes respectif. Snowsight vous offre des fonctionnalités de création de rapports de base sans avoir à configurer de logiciel supplémentaire.

Par exemple, les outils de BI utilisés pour surveiller l’utilisation des comptes sur Snowflake incluent :

Références:

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.