Prise en charge de plusieurs charges de travail – Snowflake Blog

Prise en charge de plusieurs charges de travail – Snowflake Blog


J’espère que vous avez eu la chance de lire nos précédents 10 meilleurs articles. Comme promis, nous continuons la série avec une plongée plus profonde dans une autre des 10 fonctionnalités les plus intéressantes de Snowflake :

#3 Prise en charge de plusieurs charges de travail

Avec notre unique Multi-cluster, données partagées architecture, Snowflake peut facilement prendre en charge des charges de travail multiples et disparates. Il s’agit d’un problème courant dans les entrepôts de données traditionnels, il est donc tout à fait logique de pouvoir séparer les charges de travail disparates, afin d’éviter véritablement les conflits de ressources, plutôt que de simplement dire que nous prenons en charge les charges de travail « mixtes ».

Dans les environnements d’entrepôt de données hérités, nous nous sommes souvent retrouvés limités par ce que nous pouvions exécuter et quand nous pouvions l’exécuter par crainte d’un conflit de ressources, en particulier avec les processeurs. Dans de nombreux cas, il était impossible d’actualiser les données pendant la journée car le processus ETL par lots hautement parallélisé, bien que réglé pour un débit maximal, monopolisait généralement tous les processeurs pendant son exécution. Cela signifiait que pratiquement aucune requête de rapport ne pouvait obtenir de ressources, de sorte qu’elles se bloqueraient. De même, un rapport complexe avec des calculs et des agrégations massives ferait languir des rapports simples et rapides. Et il n’y avait aucun moyen de laisser les utilisateurs professionnels du système effectuer des requêtes exploratoires, car celles-ci pourraient également bloquer tout le reste.

En raison de la séparation du calcul et du stockage natifs de l’architecture de Snowflake, comme souligné précédemment, vous pouvez facilement créer un ensemble de nœuds de calcul (nous les appelons Entrepôts virtuels) pour exécuter vos processus ELT, et un autre ensemble pour prendre en charge vos utilisateurs de rapports BI, et un troisième ensemble pour prendre en charge les data scientists et les data miners. En fait, vous pouvez activer (ou désactiver !) autant d’entrepôts virtuels que nécessaire pour exécuter toutes les charges de travail dont vous disposez.

Entrepôt virtuel

Ainsi, non seulement chaque entrepôt virtuel partage les mêmes données (garantissant des résultats cohérents), mais il est en mesure de le faire sans pour autant être affecté par le lancement d’opérations dans d’autres entrepôts virtuels car ils utilisent totalement séparé Ressources. Il n’y a donc plus de conflit de ressources !

Avec Snowflake Elastic Data Warehouse, il n’est plus nécessaire d’exécuter les chargements de données la nuit juste pour éviter de ralentir les rapports. Ne craignez plus qu’une requête incontrôlée ait un impact sur les charges ou sur d’autres utilisateurs. Vous pouvez désormais exécuter des chargements (par exemple, temps réel, micro-batch, etc.) à tout moment et fournir ainsi à vos analystes et utilisateurs courant données de manière plus fréquente.

Et encore mieux – pas de compétences particulières ou des paramètres de configuration secrets sont nécessaires pour que cela fonctionne. C’est ainsi que l’entrepôt de données en tant que service (DWaaS) de Snowflake est construit dès la conception.

Agréable!

Pour un aperçu rapide de la façon dont cela fonctionne, consultez ceci vidéo.

Grâce à Saqib Mustafa pour son aide et ses suggestions sur ce post.

Comme toujours, gardez un œil sur ce site de blog, nos flux Twitter Snowflake (@SnowflakeDB), (@kentgraziano), et (@cloudsommelier) pour plus d’informations sur le Top 10 des choses cool à propos de Snowflake et pour des mises à jour sur toutes les actions et activités ici à Snowflake Computing.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.