Aperçu public de la détection de schéma – Snowflake Blog

Aperçu public de la détection de schéma – Snowflake Blog

Les pipelines de données sont l’élément vital de l’analyse moderne, qui est un catalyseur clé pour prendre des décisions plus rapides et basées sur les données. Snowflake a pour mission de permettre aux organisations d’être axées sur les données pour acquérir un avantage concurrentiel, et l’ingestion de données est une pièce maîtresse du puzzle.

Au cours des dernières années, nous avons assisté à l’adoption continue de données semi-structurées, qui ont des schémas flexibles contenant des hiérarchies à n niveaux d’informations imbriquées de différents attributs. L’une des fonctionnalités les plus convaincantes de Snowflake est sa prise en charge native des données semi-structurées, soit en copiant les données de fichier dans des tables relationnelles Snowflake, soit en interrogeant les données de fichier en place à l’aide de tables externes Snowflake. Dans les deux options, un schéma des ensembles de données qui sont inclus dans les fichiers doit éventuellement être fourni, via Schema-on-Write ou Schema-on-Read. Nous avons cherché à améliorer les fonctionnalités Schema-on-Write de Snowflake afin que les données provenant de diverses sources puissent être importées plus rapidement dans Snowflake sous la forme schématique finale requise par les outils de création de rapports ou les applications héritées. Schema-on-Write doit être complété sans avoir besoin d’outils externes pour résoudre les définitions de colonne ou la résolution manuelle répétitive de schéma. Aujourd’hui, je suis heureux d’annoncer la préversion publique de la fonctionnalité de détection de schéma avec prise en charge des formats de fichiers semi-structurés Parquet, Avro et ORC.

Avec la détection de schéma, Snowflake déterminera et renverra automatiquement le schéma de vos fichiers préparés pour examen. Vous pouvez également demander à Snowflake de générer un DDL afin que vous puissiez facilement le consulter et l’utiliser pour créer une table, une table externe ou une vue. Et enfin, vous pouvez demander à Snowflake de créer automatiquement une table pour vous avec le schéma détecté. Tout cela est rendu possible grâce à trois nouvelles fonctions que nous avons ajoutées pour l’aperçu public de la fonctionnalité de détection de schéma.

  1. INFER_SCHEMA récupère et renvoie le schéma à partir d’un ensemble de fichiers préparés.
  2. GENERATE_COLUMN_DESCRIPTION renvoie la liste des colonnes nécessaires pour créer une table, une table externe ou une vue. Ici, vous pouvez modifier les colonnes ou les types de données avant de terminer la création de l’objet.
  3. CRÉER UN TABLEAU… À L’AIDE D’UN MODÈLE étend la fonctionnalité CREATE TABLE de Snowflake pour créer automatiquement la table structurée à l’aide du schéma détecté à partir des fichiers mis en scène sans entrée supplémentaire.
Schema Detection 2

Figure 1 : Exemple de schéma de fichier Parquet

Schema Detection 3

Figure 2 : Schéma détecté converti en table Snowflake

Alors que Snowflake prend en charge à la fois Schema-on-Read et Schema-on-Write, la préversion publique de la fonctionnalité Schema Detection améliore les capacités Schema-on-Write de Snowflake et peut réduire considérablement la quantité d’efforts au début de l’ingestion de données. Sa fonctionnalité offre des avantages tels que :

  • Faciliter la gestion manuelle des schémas de gros fichiers multicolonnes
  • Obtenir plus d’informations sur les fichiers de manière native avant de commencer le processus de chargement
  • Ingérer plus rapidement de nouvelles données provenant de plusieurs sources dans les tableaux schématisés nécessaires à la visualisation ou aux applications héritées

Essayez la détection de schéma dès aujourd’hui

La détection de schéma n’est que le début de nos investissements pour améliorer l’expérience Schema-on-Write ; la prise en charge des modifications de schéma de fichier source et d’autres formats de données tels que les données CSV et JSON devrait être incluse, respectivement, dans nos capacités d’évolution et d’inférence de schéma. Vous pouvez trouver plus de détails dans cette session de démonstrationqui a été présenté au Snowflake Summit 2021.

Essayez la fonctionnalité de détection de schéma dès aujourd’hui pour rationaliser votre processus de chargement de données et faites-nous part de vos commentaires sur la fonctionnalité ou sur notre feuille de route. Pour commencer avec la fonctionnalité, consultez notre Documentation. En règle générale, les aperçus ne sont pas pris en charge pour une utilisation en production, mais ils constituent un excellent moyen de se préparer à une utilisation en production lorsque la version de disponibilité générale est disponible.

Énoncés prospectifs

Ce message contient des déclarations prospectives expresses et implicites, y compris des déclarations concernant (i) la stratégie commerciale de Snowflake, (ii) les produits, services et offres technologiques de Snowflake, y compris ceux en cours de développement, (iii) la croissance du marché, les tendances et la concurrence et (iv) l’intégration, l’interopérabilité et la disponibilité des produits de Snowflake avec et sur des plates-formes tierces. Ces déclarations prospectives sont soumises à un certain nombre de risques, d’incertitudes et d’hypothèses, y compris ceux décrits sous la rubrique « Facteurs de risque » et ailleurs dans le rapport trimestriel sur formulaire 10-Q pour le trimestre fiscal clos le 30 avril 2021 que Snowflake a déposée auprès de la Securities and Exchange Commission. À la lumière de ces risques, incertitudes et hypothèses, les résultats réels pourraient différer sensiblement et défavorablement de ceux anticipés ou sous-entendus dans les déclarations prospectives. Par conséquent, vous ne devez pas vous fier aux déclarations prospectives comme prédictions d’événements futurs.

© 2021 Snowflake Inc. Tous droits réservés. Snowflake, le logo Snowflake et tous les autres noms de produits, fonctionnalités et services Snowflake mentionnés dans le présent document sont des marques déposées ou des marques commerciales de Snowflake Inc. aux États-Unis et dans d’autres pays. Tous les autres noms de marque ou logos mentionnés ou utilisés ici sont uniquement à des fins d’identification et peuvent être les marques de commerce de leur(s) détenteur(s) respectif(s). Snowflake ne peut être associé à, ou être parrainé ou approuvé par, un ou plusieurs de ces détenteurs.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.