Nouvelles fonctionnalités de Snowflake publiées au premier trimestre 2017

Nouvelles fonctionnalités de Snowflake publiées au premier trimestre 2017


Nous avons récemment célébré une étape importante dans l’atteinte de 500+ clients depuis que Snowflake est devenu disponible en juin 2015. Alors que les entreprises de toutes tailles adoptent de plus en plus Snowflake, nous voulions revenir en arrière et donner un aperçu des principales nouvelles fonctionnalités de Snowflake que nous avons publiées au cours du premier trimestre de cette année, et souligner la valeur que ces fonctionnalités apportent à notre clients.

Étendre la portée mondiale et simplifier l’expérience d’intégration

Offrir à nos clients la liberté de choix, ainsi qu’une expérience de « démarrage » simple, sécurisée et guidée, a été l’un des principaux objectifs du dernier trimestre.

  • Nous avons ajouté une nouvelle région en dehors des États-Unis ; les clients ont désormais la possibilité d’analyser et de stocker leurs données dans des comptes Snowflake déployés dans UE-Francfort. Le choix de la région appropriée est intégré à notre portail en libre-service lorsque de nouveaux clients s’inscrivent.
  • De plus, nous avons ajouté nos éditions de produits de grande valeur, Entreprise et entreprise pour les données sensibles (ESD)à notre offres en libre-service dans toutes les régions disponibles. Par exemple, avec Enterprise, les clients peuvent rapidement mettre en œuvre le mode de mise à l’échelle automatique pour les entrepôts multi-cluster afin de prendre en charge des charges de travail variables et à forte simultanéité. Et les clients exigeant la conformité HIPAA peuvent choisir ESD.
  • En explorant d’autres moyens pour permettre aux entreprises de démarrer rapidement avec Snowflake, nous en partenariat avec le Marché AWS équipe pour inclure nos offres Snowflake à la demande, y compris l’option UE-Francfort, dans leurs abonnements SaaS nouvellement lancés.

Amélioration des performances prêtes à l’emploi et de la couverture SQL

Nous nous engageons à créer le cloud DW le plus rapide pour vos charges de travail simultanées avec le SQL que vous aimez.

  • Une amélioration clé de la performance introduite ce trimestre a été la réduction de temps de compilation pour les données JSON. Les tests TPC-DS internes démontrent une réduction de 30 à 60 % pour la plupart des requêtes TPC-DS (flux unique sur une seule table JSON de 100 To). En parallèle, nous avons travaillé sur l’amélioration du temps de compilation des requêtes en général, offrant jusqu’à 50 % d’amélioration des performances pour les requêtes courtes.
  • Une autre nouvelle fonctionnalité clé est la prise en charge des insertions de données en bloc sur une table en même temps que d’autres opérations DML (par exemple SUPPRIMER, METTRE À JOUR, FUSIONNER). En introduisant un verrouillage plus fin au niveau de la micro-partition, nous sommes en mesure de permettre instructions DML simultanées sur le même tableau.
  • À améliorer notre fonctionnalité de regroupement de données (actuellement en préversion), nous avons ajouté la prise en charge de la spécification expressions sur les colonnes de table dans les clés de clustering. Cela permet un contrôle plus précis des données dans les colonnes utilisées pour le clustering.
  • Comme nous réduit le temps de démarrage des entrepôts virtuels (jusqu’à la taille XL) à quelques secondes, assurant un provisionnement quasi instantané pour la plupart des entrepôts virtuels.
  • Nous étendu notre SQL en ajoutant la prise en charge de l’ANSI SQL Clause TABLESAMPLE. Ceci est utile lorsqu’un utilisateur souhaite limiter une opération de requête effectuée sur une table à un sous-ensemble aléatoire de lignes de la table uniquement.

Garder une longueur d’avance avec une sécurité prête pour l’entreprise

Dès le premier jour, la sécurité a toujours été au cœur de la conception de Snowflake.

  • Nous avons élargi Snowflake’s authentification fédérée et capacité d’authentification unique en s’intégrant à plusieurs des plus populaires Fournisseurs d’identité conformes à SAML 2.0. Désormais, en plus d’Okta, Snowflake prend désormais en charge ADFS/AD, Azure AD, Centrify et OneLogin, pour n’en nommer que quelques-uns.
  • Pour faire progresser l’audit intégré de Snowflake, nous avons introduit nouvelles fonctions de table de schéma d’information (LOGIN_HISTORY et LOGIN_HISTORY_BY_USER) que les utilisateurs peuvent interroger pour récupérer l’historique à court terme de toutes les demandes de connexion réussies et échouées au cours des 7 jours précédents. Si nécessaire, les utilisateurs peuvent conserver un historique à long terme en copiant la sortie de ces fonctions dans des tables SQL standard.

Améliorer notre écosystème

Permettre aux développeurs et aux constructeurs de créer des applications avec leurs outils et langages préférés reste une priorité pour nous.

  • En ce qui concerne l’ETL de classe entreprise, nous avons réussi a collaboré avec Talend dans la construction d’un connecteur Snowflake natif basé sur le nouveau et moderne connecteur SDK de Talend. Le connecteur, actuellement en avant-première, a déjà été déployé par un certain nombre de clients communs avec d’excellents retours initiaux sur les performances et la facilité d’utilisation.
  • Pour renforcer l’intégration de notre service Snowflake avec des plates-formes adaptées à l’apprentissage automatique et aux transformations de données avancées, nous avons publié une nouvelle version de notre Connecteur Snowflake pour Sparkdrastiquement améliorer les performances en poussant plus d’opérations de requête, y compris les JOIN et diverses fonctions d’agrégation, jusqu’à Snowflake. Nos tests de performances internes de 10 To TPC-DS démontrent que l’exécution de requêtes TPC-DS à l’aide de ce nouveau connecteur Spark v2 est jusqu’à 70 % plus rapide par rapport à l’exécution de SQL dans Spark avec Parquet ou CSV (voir cet article de blog pour plus de détails).
  • Nous continuons à améliorer nos chauffeurs pour notre communauté de développeurs. En écoutant les commentaires de notre grande communauté de développeurs Python, nous avons travaillé sur une nouvelle version de Python natif de Snowflake pilote client, entraînant jusqu’à 40 % d’amélioration des performances lors de la récupération des ensembles de résultats à partir de Snowflake. Et, après avoir rendu notre pilote JDBC open-source le trimestre dernier, nous avons maintenant rendu l’intégralité du code source disponible sur notre référentiel GitHub officiel.
  • Et, dernier point mais non le moindre, pour améliorer notre chargement de données parallèle via la commande COPY, les développeurs ETL peuvent désormais ajouter dynamiquement des informations de métadonnées de fichiertels que le nom de fichier et le numéro de ligne réels, qui peuvent ne pas faire partie de la charge utile initiale.

Accroître la transparence et la convivialité

Ces fonctionnalités sont conçues pour trouver le juste équilibre entre l’offre d’un service facile à utiliser et l’exposition d’informations exploitables sur le service en cours d’exécution.

  • Un ajout majeur à notre service est Profil de requêtedésormais disponible et entièrement intégré à l’interface Web de Snowflake. Profil de requête est un outil graphique que vous pouvez utiliser pour détecter les goulots d’étranglement et les domaines d’amélioration des performances des requêtes.
  • Divers Améliorations de l’interface utilisateur ont été implémentés : la page Historique de Snowflake prend désormais en charge un filtrage supplémentaire par le texte SQL réel et l’identifiant de requête. Nous avons également ajouté la prise en charge de l’interface utilisateur pour la création d’un format de fichier Parquet en vue du chargement des données Parquet dans des colonnes de table de type variante dans Snowflake.
  • UN nouvelle fonction de table de schéma d’information (TABLE_STORAGE_METRICS) expose des informations sur le stockage des données pour les tables individuelles. En particulier, un utilisateur peut désormais mieux comprendre comment les tables sont affectées par la protection continue des données, en particulier les périodes de rétention dans le temps et à sécurité intégrée, ainsi que les tables contenant des données clonées.
  • Nous avons également récemment introduit facturation plus intelligente de l’entrepôt virtuel par le biais de la poursuite de la facturation de l’entrepôt (voir cet article de blog pour plus de détails). Si un entrepôt est suspendu et repris dans les 60 minutes suivant la dernière charge, nous ne facturons pas à nouveau les serveurs de l’entrepôt. WBC élimine les frais de crédit supplémentaires et nous espérons que cela réduira la nécessité pour nos clients de surveiller et de contrôler strictement la suspension et le redimensionnement des entrepôts.

Mise à l’échelle et investissement dans la robustesse du service

Ces améliorations de service ne sont pas visibles pour le client, mais sont cruciales pour la mise à l’échelle afin de répondre aux demandes de notre base de clients en croissance rapide.

  • Dans le cadre du déploiement de la nouvelle région UE (Francfort), nous avons accru l’automatisation de notre procédures de déploiement interne pour (a) améliorer encore l’efficacité de l’ingénierie tout en (b) jetant les bases pour ajouter rapidement de nouvelles régions en fonction des commentaires des clients.
  • Nous avons encore rationalisé et renforcé nos divers tests internes et activités de pré-lancementnous permettant d’expédier de nouvelles fonctionnalités à nos clients sur une base hebdomadaire, le tout de manière totalement transparente, sans aucun impact sur les utilisateurs.

Conclusion et remerciements

Cette liste récapitulative des fonctionnalités fournies au cours du premier trimestre met en évidence la vitesse élevée et le large éventail de fonctionnalités Équipe d’ingénierie de flocon de neige a livré avec succès dans un court laps de temps. Nous nous engageons à donner la priorité à nos clients et à maintenir ce rythme régulier d’expédition de fonctionnalités prêtes pour l’entreprise chaque trimestre. Restez à l’écoute pour un autre Q2 riche en fonctionnalités.

Pour plus d’informations, n’hésitez pas à nous contacter au [email protected]. Nous serions ravis de vous aider dans votre voyage vers le cloud. Et gardez un œil sur ce blog ou suivez-nous sur Twitter (@flocondeneige) pour suivre toutes les nouvelles et les événements ici à Snowflake Computing.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.