Annonces du nouveau moteur et de la plate-forme de Snowflake

Annonces du nouveau moteur et de la plate-forme de Snowflake


Le Data Cloud de Snowflake est alimenté par un seul moteur. Dès le premier jour, nous nous sommes concentrés sur l’évolution et l’amélioration constantes de ce moteur pour permettre aux charges de travail existantes de s’exécuter plus efficacement et aux nouvelles charges de travail de s’exécuter sur Snowflake. L’approche à moteur unique se traduit par une expérience unique, d’un modèle de tarification cohérent à une approche intégrée combinant performances, sécurité, gouvernance et fondation pour permettre de manière transparente des scénarios interrégionaux ou intercloud. En fin de compte, le résultat est l’élimination de la complexité. Il n’est pas nécessaire de gérer plusieurs moteurs, services, architectures système complexes ou flux de données. Vous n’aurez pas besoin de comprendre les différentes implications tarifaires lors du déploiement de charges de travail d’ingénierie de données, d’analyse ou de science des données. Vous bénéficiez également plus fréquemment d’innovations de plate-forme. Presque toutes les améliorations que nous apportons s’appliquent à tous les niveaux plutôt qu’à un seul cas d’utilisation ou charge de travail. Lors de Summit, nous avons annoncé un certain nombre de nouvelles capacités de moteur que nous allons résumer dans cet article de blog.

Mises à jour transparentes du moteur

Pour ceux d’entre vous qui utilisent AWS, vous obtiendrez des performances plus rapides pour toutes vos charges de travail. Nous avons optimisé Snowflake pour tirer parti des nouvelles améliorations matérielles proposées par AWS, et nous constatons un calcul 10 % plus rapide en moyenne dans les régions déjà déployées. Aucune intervention de l’utilisateur ou choix d’une configuration particulière n’est requis pour cette dernière amélioration des performances.

Du côté de l’exécution, nous sommes heureux d’annoncer que Join Eliminations sera bientôt en préversion publique. Cela permettra de gagner un temps d’exécution de requête substantiel. Snowflake détectera et éliminera automatiquement les jointures inutiles de votre requête plutôt que de s’appuyer sur la couche application. Par exemple, l’un de nos clients gouvernementaux a pu simplifier sa migration de Teradata vers Snowflake sans avoir à modifier sa pile d’applications ou à réécrire les requêtes.

De plus, nous avons amélioré les recherches de sous-chaînes prêtes à l’emploi, qui s’exécutent désormais jusqu’à deux fois plus rapidement. Les applications métier qui s’appuient sur la recherche d’un mot ou d’une phrase dans des documents texte volumineux s’exécuteront plus rapidement sans modifier le code de l’application. Cette mise à jour est actuellement en cours de déploiement dans toutes les régions.

Du côté de la compilation, les expressions de table communes (CTE) sont désormais plus rapides avec une compilation réduite jusqu’à 30 %. Les CTE sont devenus un moyen pratique de simplifier et de gérer des requêtes SQL complexes, ce qui améliore la lisibilité et la productivité de nos utilisateurs SQL. Et vous verrez maintenant des compilations plus rapides de ces requêtes souvent complexes.

Nous avons amélioré les vues sécurisées utilisées pour un partage de données plus rapide, désormais en préversion privée. Nous avons constaté une réduction allant jusqu’à 50 % pour une grande entreprise de services financiers qui considérait cette amélioration comme un incontournable pour son cas d’utilisation de la collaboration de données à travers le monde.

Les requêtes analytiques complexes impliquent généralement des jointures avec de très grandes tables. Nous sommes ravis d’annoncer une amélioration du temps de compilation de 36 %, en moyenne, pour cette classe de requêtes complexes, observée sur Snowflake AWS US West. Cela s’est étendu à toutes les régions. Pour les geeks de données, cela a été réalisé en améliorant les performances de calcul du « nombre de valeurs distinctes (NDV) », qui est une étape essentielle pour de telles requêtes.

Bientôt en préversion privée, nous avons accéléré les évaluations des politiques de données pour vos cas d’utilisation de la gouvernance des données grâce à des fonctions mémorisables accélérant les politiques complexes reposant sur plusieurs tables de mappage. Nous avons aujourd’hui un grand nombre de nos clients qui protègent leurs tables et recherchent une surcharge de performances nulle ou minimale.

Nous avons continué à améliorer le degré élevé de simultanéité qui a été un élément essentiel de notre plate-forme évolutive. Nous sommes heureux d’annoncer un certain nombre de nouvelles améliorations critiques.

Vous pouvez désormais exécuter des charges de travail DML lourdes en écriture beaucoup plus rapidement. Nos utilisateurs qui ont exécuté des centaines d’opérations DML par seconde ont vu une réduction de 10 % de la latence en moyenne, et certains d’entre eux ont vu une réduction allant jusqu’à 40 %.

L’année dernière, nous avons annoncé que Snowflake pouvait désormais alimenter des tableaux de bord interactifs et des cas d’utilisation analytiques intégrés. C’est le résultat d’améliorations précises apportées par l’équipe : réduction de la latence et amélioration du traitement simultané des requêtes de sélection. Et ce fut juste le début. Nous avons continué à trouver de nouveaux domaines à améliorer et avons encore réduit la latence des requêtes très courtes de 100 ms de 10 % supplémentaires.

Stockage compressé et auto-organisé

L’année dernière, nous avons annoncé une amélioration majeure de notre algorithme de compression. Cela a permis aux clients d’économiser 30 % sur leur facture de stockage en moyenne, en améliorant spécifiquement la façon dont certains formats de données et de fichiers sont traités. Ce changement a été entièrement géré sans intervention de l’utilisateur ni interruption requise.

Aujourd’hui, nous sommes ravis d’annoncer que nous avons commencé à publier une autre amélioration de la compression pour les types de données numériques, avec une réduction de 7 à 10 % des coûts de stockage. Encore une fois, cela est totalement transparent pour vous en tant qu’utilisateur final. Aucune action n’est requise pour voir ces avantages cette année.

Accélérer les nouvelles charges de travail

L’analyse de localisation et l’utilisation de données géospatiales constituent un domaine de croissance passionnant pour nos clients. Pour faciliter encore plus la migration des cas d’utilisation géospatiale vers Snowflake, nous ajouterons bientôt la prise en charge de GEOMETRY en préversion publique. Nous nous engageons à faire de Snowflake le meilleur endroit pour l’analyse de localisation, et ce n’est qu’une des façons dont nous y parvenons.

Dans le cadre du Cloud de données, vous bénéficiez d’une prise en charge linguistique robuste pour travailler avec des données géospatiales, ainsi que de la possibilité d’exploiter un riche ensemble de données de la place de marché pour enrichir votre analyse et partager des informations avec vos organisations ou votre écosystème. Et nous vous offrons un certain nombre d’options flexibles pour travailler avec ces données, y compris la recherche basée sur SQL et des intégrations avec des partenaires comme Carto et ESRI.

Le service d’optimisation de la recherche est un autre domaine que nous améliorons continuellement. L’année dernière, nous avons annoncé sa disponibilité générale, vous permettant d’analyser des milliards de lignes de données et de trouver rapidement des réponses à des questions spécifiques précises. Activez-le simplement sur une table et Snowflake s’occupe du reste, en suivant automatiquement les ajouts, les mises à jour ou les suppressions tout en préservant la structure d’accès optimale en dessous. Lors de Summit, nous avons souligné quelques améliorations à notre service d’optimisation de la recherche : la prise en charge d’un plus grand nombre de types de données, y compris VARIANT, texte et géospatiales, le tout en préversion privée. En particulier pour le géospatial, cela signifie que les recherches sur les cartes sont désormais jusqu’à 5 fois plus rapides.

Nous annonçons également la disponibilité (en préversion privée) d’une nouvelle syntaxe de configuration du service d’optimisation de la recherche, permettant aux clients de sélectionner les colonnes qu’ils souhaitent utiliser pour la recherche. Cela donne aux clients un autre niveau pour minimiser leurs coûts SO.

De plus, depuis la mi-juin, les clients qui utilisent le service d’optimisation de la recherche dépensent en moyenne 25 %, et dans de nombreux cas jusqu’à 50 %, de moins en calcul d’optimisation de la recherche. En effet, nous avons optimisé la maintenance en arrière-plan de Search Optimization et fait en sorte que ces opérations consomment moins de ressources, entraînant des économies très importantes pour les clients.

Nous sommes également heureux de vous présenter notre dernière fonctionnalité sans serveur, Query Acceleration Service, désormais en préversion publique pour les éditions Enterprise et supérieures. Le service d’accélération des requêtes permet une plus grande flexibilité dans l’équilibrage des coûts et des performances. Alors que les entrepôts virtuels multi-clusters permettent une mise à l’échelle horizontale pour gérer davantage de simultanéité, le service d’accélération des requêtes permet une mise à l’échelle verticale pour accélérer les requêtes.

Optimisation de la charge de travail

Au fur et à mesure que nous développions ces fonctionnalités, nous avons cherché à accroître la prévisibilité et la transparence des performances de Snowflake, et nous annonçons aujourd’hui une série de nouvelles fonctionnalités de gestion de la charge de travail.

Désormais disponible en préversion privée, nous libérons l’accès par programmation aux statistiques de profil de requête. Cela améliorera votre capacité à identifier et à résoudre les requêtes complexes à grande échelle. De plus, nous introduisons plus de transparence dans l’efficacité et les avantages de deux services de calcul sans serveur : le service d’optimisation de la recherche et le service de clustering automatique, qui automatisent la maintenance et la gestion du clustering. Avec cette mise à jour, vous pourrez voir les métriques clés pour comprendre l’impact et les avantages des services d’optimisation de la recherche et de clustering automatique, ainsi que leur impact sur les performances en raison des changements fréquents de table des opérations DML.

En plus de ces nouvelles fonctionnalités de gestion de la charge de travail, nous introduisons de nouvelles fonctionnalités de gouvernance des coûts. Désormais disponible en préversion privée, une nouvelle fonctionnalité Budgets permet de surveiller et de recevoir des alertes sur plusieurs services de calcul (par exemple, entrepôt et vues matérialisées). Nous ajoutons également des contrôles de coûts pour le clustering automatique, désormais en préversion privée. Nous facilitons également l’utilisation du balisage pour la gouvernance des coûts. Vous pouvez ajouter des balises telles que Finance ou Marketing aux comptes et aux objets et afficher une vue consolidée des balises de coût à l’aide de l’utilisation de l’organisation. Ceci est disponible en avant-première privée.

Mon voyage avec Snowflake a commencé il y a plus de 7 ans. En repensant à ces années, le moteur de Snowflake a évolué et alimente désormais des charges de travail très diverses – de l’analyse traditionnelle à la création d’applications et d’expériences modernes centrées sur les données, permettant aux petites et grandes organisations de collaborer efficacement, y compris le partage de données et d’applications. Ce moteur et cette plate-forme activent le Data Cloud de Snowflake. Mais notre mission principale n’a pas changé : un moteur, un produit, une expérience intégrée.

Pour en savoir plus sur ces innovations, regardez le discours d’ouverture du Sommet 2022 présentant le moteur principal et la plate-forme et d’autres sessions sélectionnées à la demande ici.

Énoncés prospectifs

Ce message contient des déclarations prospectives expresses et implicites, y compris des déclarations concernant (i) la stratégie commerciale de Snowflake, (ii) les produits, services et offres technologiques de Snowflake, y compris ceux qui sont en cours de développement ou qui ne sont pas généralement disponibles, (iii) la croissance du marché, tendances et considérations concurrentielles, et (iv) l’intégration, l’interopérabilité et la disponibilité des produits de Snowflake avec et sur des plateformes tierces. Ces déclarations prospectives sont soumises à un certain nombre de risques, d’incertitudes et d’hypothèses, y compris ceux décrits sous la rubrique « Facteurs de risque » et ailleurs dans les rapports trimestriels sur formulaire 10-Q et les rapports annuels sur formulaire 10-K que Snowflake dépose. avec la Securities and Exchange Commission. À la lumière de ces risques, incertitudes et hypothèses, les résultats réels pourraient différer sensiblement et défavorablement de ceux anticipés ou sous-entendus dans les déclarations prospectives. Par conséquent, vous ne devez pas vous fier aux déclarations prospectives comme prédictions d’événements futurs.

© 2022 Snowflake Inc. Tous droits réservés. Snowflake, le logo Snowflake et tous les autres noms de produits, fonctionnalités et services Snowflake mentionnés dans le présent document sont des marques déposées ou des marques commerciales de Snowflake Inc. aux États-Unis et dans d’autres pays. Tous les autres noms de marque ou logos mentionnés ou utilisés ici sont uniquement à des fins d’identification et peuvent être les marques de commerce de leur(s) détenteur(s) respectif(s). Snowflake ne peut être associé à, ou être parrainé ou approuvé par, un ou plusieurs de ces détenteurs.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.