Nouvelles fonctionnalités Snowflake publiées au S2’17

Nouvelles fonctionnalités Snowflake publiées au S2’17


En regardant le premier semestre de cette année, le thème principal de Snowflake a été centré sur la mise à l’échelle – l’équipe, le service et notre clientèle. Nous avons introduit et amélioré l’expérience d’intégration en libre-service, développé notre écosystème en collaborant avec des partenaires technologiques et des SI majeurs et investi pour rendre notre service plus rapide, plus sûr et plus facile à utiliser.

Au cours de l’été, nous avons annoncé la disponibilité générale du partage de données instantané de Snowflake. Au fur et à mesure de notre croissance, cela fournira la base aux organisations de toutes tailles axées sur les données pour échanger instantanément des données, créer de nouvelles informations et découvrir de nouvelles sources de revenus.

Au cours du second semestre de cette année, nous avons entamé un voyage pour faire évoluer le service de manière substantielle et cela se poursuivra tout au long de 2018.

Élasticité instantanée, facturation à la seconde et entrepôts virtuels 4XL
Imaginez que vous ayez un accès instantané aux performances et à l’évolutivité, et que vous ne payez vraiment que ce que vous utilisez.

De nombreuses solutions cloud DW revendiquent le titre ci-dessus. Néanmoins, un examen plus approfondi révèle de fines différences avec le degré d’évolutivité et de simultanéité pris en charge, l’expérience utilisateur globale et les types de charges de travail qu’un utilisateur peut exécuter à grande échelle. L’un de nos principaux investissements dans ce domaine a abouti à notre fonctionnalité d’élasticité instantanée :

  • L’introduction de la tarification à la seconde représente un élément de base crucial. Désormais, nos clients sont facturés à la seconde au lieu d’une heure complète lorsqu’ils exécutent des charges de travail dans Snowflake.
  • Nous avons également amélioré nos algorithmes de provisionnement, en utilisant les données d’utilisation passées pour mieux servir la capacité de calcul pour une utilisation future.
  • Nous avons ajouté la prise en charge de nos nouveaux entrepôts virtuels 4XL, doublant la configuration de calcul maximale et permettant à nos clients de faire face à leurs charges de travail et SLA de performance les plus difficiles.

D’après les commentaires des clients, la réduction du temps d’attente de quelques minutes à quelques secondes est un énorme avantage. Vous pouvez désormais garantir les bonnes performances pour vos tableaux de bord exécutifs et ne plus vous soucier d’une charge d’une heure complète. Vous pouvez également faire évoluer votre charge instantanément et accéder rapidement aux données les plus récentes.

Amélioration des performances et de la programmabilité SQL
Notre mission continue est de construire l’entrepôt de données le plus rapide avec le SQL que vous aimez.

Au cours du dernier trimestre, nous avons publié une large gamme de fonctionnalités SQL qui répondent aux défis de la migration des bases de données et augmentent à la fois la compatibilité avec SQL ANSI et la programmabilité SQL globale :

  • Prise en charge des UDF de table JavaScript (en préversion publique).
  • Prise en charge de la notation Double-Dot pour spécifier des objets de base de données afin de faciliter la migration à partir de systèmes de base de données sur site.
  • Prise en charge des littéraux de table.
  • INSERT OVERWRITE : permet de reconstruire des tables pour faciliter la migration depuis les systèmes Hadoop.
  • Amélioration de la fonction LEAD/LAG : Ignorer les valeurs NULL.
  • SAMPLE/TABLESAMPLE – disponibilité générale annoncée.
  • Nous avons introduit des fonctions pour estimer les valeurs fréquentes en temps quasi-linéaire.
  • Plus de flexibilité et d’assistance pour configurer la politique de début de semaine et de semaine de l’année.

De plus, nous avons travaillé sur des améliorations substantielles des performances qui traitent de la facilité d’utilisation et de l’automatisation. Veuillez rester à l’écoute pour les annonces majeures au début de 2018.

Garder une longueur d’avance avec une sécurité et une conformité prêtes pour l’entreprise
Dès le premier jour, la sécurité a toujours été au cœur de la conception de Snowflake.

  • Prise en charge de l’authentification unique par programmation – Désormais, un utilisateur de Snowflake peut tirer parti de l’authentification unique assistée par navigateur par programmation via nos pilotes Snowflake ODBC, JDBC et Python et notre outil de ligne de commande, SnowSQL. Contrairement à certains de nos concurrents, vous n’avez pas besoin d’écrire de code pour vous connecter à votre IDP conforme à SAML 2.0. (Le support SSO programmatique est disponible dans notre Enterprise Edition).
  • Prise en charge de PrivateLink pour Snowflake – Nous avons travaillé avec AWS pour intégrer PrivateLink à Snowflake. Avec PrivateLink, les utilisateurs de Snowflake peuvent désormais se connecter à Snowflake en contournant l’Internet public. Aucun proxy encombrant ne doit être mis en place entre Snowflake et leur réseau. Les utilisateurs ont un contrôle total sur le trafic de sortie.

Améliorer notre écosystème et le chargement des données
Permettre aux développeurs et aux constructeurs d’intégrer de nouvelles charges de travail et de créer des applications avec leurs outils, pilotes et langages préférés reste une priorité absolue.

Snowpipe
Nous avons récemment annoncé Snowpipe, qui représente une étape importante à bien des égards. Premièrement, les utilisateurs peuvent désormais traiter efficacement les cas d’utilisation de chargement continu pour les données en continu. Deuxièmement, avec Snowpipe, nous avons introduit le premier service en plus du service d’entreposage de données de base. Snowpipe est sans serveur, il n’est donc pas nécessaire de gérer un entrepôt virtuel pour le chargement des données dans Snowflake. Enfin, nous continuons à nous intégrer profondément à l’ensemble de la pile AWS : Snowpipe permet aux clients de tirer parti des notifications d’événements AWS S3 pour déclencher automatiquement les chargements de données Snowflake dans les tables cibles. Vous pouvez en savoir plus sur Snowpipe ici : Présentation et premiers pas.

Écosystème plus large
Alors que nous continuons à ajouter des fonctionnalités et à enrichir Snowflake avec des services supplémentaires, nous croyons fermement en la liberté de choix. Au lieu de prêcher une plate-forme unifiée et une philosophie de solution unique, nos principaux objectifs sont de faciliter les intégrations et d’améliorer les performances.

  • Pour l’ETL, l’intégration et la réplication de données de classe entreprise :
    • Ajout de la prise en charge de PowerCenter 10.2 pour Snowflake.
    • Ajout de la prise en charge du cas d’utilisation ETL avec AWS Glue – créez des tâches ETL modernes et performantes via notre connecteur Spark, en poussant le calcul dans Snowflake.
  • Pour l’analyse de données et la science des données :
    • Ajout d’un connecteur Snowflake natif pour Alteryx prenant en charge les composants en base de données.
    • Mise à jour de notre bibliothèque Snowflake dplyR.
  • Pour l’intelligence d’affaires (BI) :
    • Ajout d’un connecteur Snowflake natif pour ChartIO (en avant-première).
  • Pour le chargement et le déchargement parallèles des données via la commande COPY, les développeurs peuvent désormais :
    • Charger des données codées en caractères non UTF-8.
    • Déchargez au format de fichier Parquet.

Accroître la transparence et la convivialité
Ces fonctionnalités sont conçues pour trouver le juste équilibre entre l’offre d’un service facile à utiliser et l’exposition d’informations exploitables sur le service lui-même.

  • Les moniteurs de ressources peuvent désormais être créés via l’interface utilisateur de Snowflake. Lorsqu’un utilisateur crée des moniteurs de ressources, il peut également configurer des notifications. Les notifications pour les actions « suspendre » et « suspendre immédiatement » sont envoyées lorsque les seuils de quota sont atteints pour un moniteur de ressources particulier. De plus, nous avons ajouté la prise en charge de jusqu’à 5 avertissements pouvant être définis pour chaque moniteur de ressources.
  • Nouveau privilège MONITOR USAGE pour accorder l’accès à la révision des informations de facturation et d’utilisation via SQL ou via l’interface utilisateur Snowflake. Cela permet aux administrateurs non-compte de consulter les informations sur les données stockées dans les bases de données et les étapes, ainsi que de fournir un aperçu de l’utilisation de l’entrepôt.
  • Pour une convivialité et une commodité améliorées, nous avons ajouté une nouvelle option (COPY GRANTS) qui permet aux utilisateurs de conserver ou de copier les subventions dans le cadre de l’exécution des variantes CREATE OR REPLACE TABLE, CREATE OR REPLACE VIEW, CREATE TABLE LIKE et CREATE TABLE CLONE.
  • Nous avons également complètement remanié notre feuille de calcul et amélioré l’expérience globale. Nous allons déployer ces changements par étapes dans les semaines à venir, et bien d’autres suivront en 2018.

Mise à l’échelle et investissement dans la robustesse du service
Ces améliorations de service ne sont pas visibles pour le client, mais sont cruciales pour la mise à l’échelle afin de répondre aux demandes de notre base de clients en croissance rapide.

  • Notre expansion mondiale se poursuit avec une nouvelle région Snowflake à Sydney, en Australie.
  • Nous avons introduit une nouvelle édition de produit : Virtual Private Snowflake (VPS). Avec VPS, les clients obtiennent une instance dédiée et gérée de Snowflake au sein d’un VPC AWS dédié distinct, avec toutes les performances, la simplicité et la simultanéité inhérentes à Snowflake. Cela inclut également des services de métadonnées entièrement dédiés, isolés de l’activité de métadonnées des autres clients Snowflake.
  • Nous avons poursuivi nos investissements dans la stabilité du système, en améliorant et en renforçant divers composants de notre couche de services cloud.

Conclusion

Nous sommes en bonne voie pour atteindre 1000 clients d’ici la fin de 2017, avec des dizaines de PB compressés stockés dans Snowflake et des millions de tâches de traitement de données exécutées avec succès quotidiennement. Nous sommes passés à plus de 300 Flocons de neige et élargi notre présence mondiale. 2017 a vraiment été une année déterminante dans la jeune histoire de Snowflake : libre-service, partage de données instantané, élargissement de notre écosystème, élasticité instantanée, Snowpipe, VPS et PrivateLink pour Snowflake. Nous attendons avec impatience une année 2018 passionnante alors que nous continuons d’aider nos clients à résoudre leurs problèmes de données à grande échelle.

Pour plus d’informations, n’hésitez pas à nous contacter au [email protected] Nous serions ravis de vous aider dans votre voyage vers le cloud. Et gardez un œil sur ce blog ou suivez-nous sur Twitter (@flocondeneige) pour suivre toutes les nouvelles et les événements ici à Snowflake Computing.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.