L’acquisition automatique de Snowpipe est maintenant disponible pour tous

L’acquisition automatique de Snowpipe est maintenant disponible pour tous

L’analyse en temps réel est un élément clé pour prendre des décisions plus rapides et basées sur les données. Les décisions prises à la hâte avec des données obsolètes ou sans données peuvent se retourner contre vous, laissant les organisations dans une position concurrentielle désavantageuse. Snowflake a pour mission de permettre aux organisations d’être axées sur les données afin de saisir l’avantage concurrentiel et l’ingestion de données est une pièce clé du puzzle.

En réponse à la demande croissante d’analyses en temps réel, fin 2017, nous avons introduit Snowpipe pour aider les clients à charger efficacement toutes leurs données avec un service continu et auto-évolutif avec une simple API REST. L’API prenait une liste de fichiers et pouvait être appelée en continu. Puis, l’année suivante, nous avons ajouté une option d’auto-ingestion sans effort pour éliminer le besoin d’écrire un pilote qui appelait l’API périodiquement. L’ingestion automatique écoute simplement les notifications du magasin d’objets blob dans le cloud, comme Amazon S3 ou Azure Blob Storage, et ingère les nouveaux fichiers à mesure qu’ils arrivent. Nous sommes ravis d’annoncer que la fonctionnalité Auto-ingest Snowipe est désormais généralement disponible sur AWS et Azure dans toutes les régions. Il se superpose à la base solide de Snowpipe qui est généralement disponible sous la forme d’une API REST depuis l’automne 2018.

L’ingestion continue et sans effort est désormais la norme

Des sources supplémentaires de données continues continuent d’émerger dans les entreprises. Ils créent à la fois une opportunité pour l’entreprise et un défi pour les organisations informatiques et d’ingénierie des données déjà surchargées. Les connecteurs existants pour les nouvelles sources de données créent souvent des fichiers dans le magasin d’objets blob et laissent la gestion du reste aux services informatiques. Avec l’ingestion automatique de Snowpipe, les clients peuvent simplement configurer un canal avec des notifications de magasin d’objets blob et laisser la gestion continue de l’ingestion à Snowflake. Par la suite, l’infrastructure d’auto-ingest Snowpipe prend en charge le traitement rapide des nouvelles notifications de fichiers et ingère les fichiers avec des entrepôts gérés par Snowflake mis à l’échelle dynamiquement.

Données pour les masses

Même pendant la préversion, nos clients ont chargé plus de 10 milliards de fichiers couvrant plus de 17 Po de données sur AWS et Azure au cours des douze derniers mois seulement, et ils l’ont fait en utilisant Auto-ingest Snowpipe. Il est devenu de loin l’option d’ingestion à la croissance la plus rapide et continue de croître rapidement. Nous apprécions votre confiance et travaillons en permanence pour améliorer la simplicité, l’efficacité et la fiabilité de cette option d’ingestion continue populaire.

« L’auto-ingest avec Snowpipe nous permet d’ingérer les données de logs en temps réel, depuis un bucket S3 et en continu vers Snowflake avec 15 millions de lignes de données chargées chaque jour », a déclaré Amaury Dumoulin, Senior Data Scientist chez Qonto. « La meilleure chose pour notre équipe est que nous pouvons « tirer et oublier » avec Snowpipe sans entretien, sans gestion et sans tracas. Le gain de performance et la réduction des coûts sont à tous les niveaux. » Raphaël Champeimont, architecte principal chez Doctrine France, a également commenté : « Nous exploitons l’auto-ingestion avec Snowpipe pour plusieurs de nos charges de travail de pipeline de données. Par exemple, nous avons pu ingérer automatiquement les données et capturer les modifications d’AWS Kinesis via Firehose vers S3 et vers notre table Snowflake sans configurer manuellement « COPY INTO », et les données sont disponibles presque en temps réel. La performance des coûts est satisfaisante car nous sommes en mesure de réduire jusqu’à 16 fois le coût de notre pipeline. »

Essayez l’ingestion automatique de snowpipe dès aujourd’hui

Essayez Auto-ingest Snowpipe dès aujourd’hui et faites-nous part de vos commentaires. Vous pouvez trouver la documentation et les informations sur la façon de commencer ici.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.