Comprendre les capacités d’optimisation des ressources de Snowflake

Comprendre les capacités d’optimisation des ressources de Snowflake

La seule certitude dans le monde d’aujourd’hui est le changement. Et cela n’est nulle part plus apparent que dans la façon dont les organisations consomment les données. Une entreprise typique peut avoir des milliers d’analystes et d’utilisateurs professionnels accédant quotidiennement aux tableaux de bord, des centaines de data scientists construisant et formant des modèles, et une grande équipe d’ingénieurs de données concevant et exécutant des pipelines de données. Chacune de ces charges de travail a des besoins de calcul et de stockage distincts, et ces besoins peuvent changer considérablement d’heure en heure et de jour en jour. Le défi consiste à s’assurer que chacune de ces charges de travail est rapide, stable et efficace. L’efficacité signifie être en mesure de fournir les meilleures performances au moindre coût tout en réduisant les déchets. Malheureusement, les plates-formes de données héritées sont la quintessence du gaspillage et de l’inefficacité. Leurs ressources fixes sont dimensionnées pour répondre aux pics de demande, ce qui signifie que pendant la majeure partie de la journée, une grande partie de leurs ressources sont inactives et entraînent des coûts. D’autre part, les requêtes complexes ou les pics d’utilisation entraînent des goulots d’étranglement, car les plates-formes héritées ne peuvent pas évoluer instantanément pour répondre à la demande des entreprises.

Échelle pratiquement illimitée et ressources flexibles parfaitement adaptées aux besoins de l’entreprise

La plate-forme de données cloud de Snowflake est différente. En tant que service basé sur la consommation, les clients ont accès à un ensemble pratiquement illimité de ressources qui peuvent être activées presque instantanément, mais aussi automatiquement réduites ou complètement désactivées lorsqu’elles ne sont plus nécessaires. Cette élasticité instantanée offre la flexibilité d’adapter étroitement les ressources aux besoins exacts de chaque utilisateur, équipe, service et charge de travail à chaque seconde de la journée. Cette flexibilité s’applique également aux tâches de stockage, de calcul et sans serveur ; chaque ressource peut être mise à l’échelle indépendamment. Le résultat est que les clients de Snowflake ne paient que pour les ressources dont ils ont besoin, quand ils en ont besoin, ce qui maximise l’efficacité et se traduit par un minimum de gaspillage et des coûts réduits.

elastic usage
Les entrepôts virtuels élastiques de Snowflake correspondent aux modèles d’utilisation des entrepôts de données des clients.

Service géré avec optimisation automatisée des ressources

Snowflake automatise l’optimisation des ressources, ajuste les requêtes et élimine les tâches de maintenance de base telles que le nettoyage, le partitionnement et l’indexation, ce qui réduit les frais généraux de l’administrateur informatique et élimine les interruptions de service coûteuses. Grâce à des mises à jour continues et transparentes, Snowflake est conçu pour être plus rapide et plus efficace chaque année. Depuis juin 2019, Snowflake a réduit le temps d’exécution des services cloud de 42 % et le temps de compilation des requêtes de 16 %. De plus, les mêmes requêtes récurrentes que les clients exécutent chaque jour prennent 4 400 heures de moins à exécuter chaque jour qu’il y a un an. Ces améliorations de l’efficacité se traduisent directement par des performances plus rapides et des coûts réduits.

Un avantage concurrentiel en matière de données peut offrir un retour sur investissement plus élevé et un coût total de possession inférieur

Alors que les organisations lancent davantage de charges de travail de données et intègrent davantage d’utilisateurs professionnels à leurs plates-formes de données, elles doivent justifier leurs dépenses en les liant directement à la valeur commerciale tout en améliorant l’efficacité pour réduire le coût total de possession.

L’efficacité architecturale inhérente de Snowflake, l’optimisation automatisée des ressources et la capacité à réduire les coûts d’exploitation offrent aux clients un rapport qualité-prix supérieur, offrant d’immenses économies aux organisations qui migrent des solutions sur site héritées et d’autres plates-formes de données cloud. Mais plus important encore, Snowflake aide les clients à générer un énorme retour sur leur investissement dans les données en fournissant de meilleures analyses dans l’ensemble de l’entreprise et en permettant de nouvelles sources de revenus qui étaient auparavant impossibles. Une nouvelle sortie Rapport Forrester TEI a conclu que Snowflake peut offrir un retour sur investissement de 612 % sur trois ans, y compris des économies d’infrastructure et de gestion de base de données d’une valeur de 5,9 millions de dollars.

Uniper
L’architecture de données partagées multi-cluster de Snowflake est livrée 10 fois les performances de la plate-forme précédente d’Uniper à un coût inférieur de 30 %.
Spiréon
Le modèle en tant que service de Snowflake, l’architecture de données partagées multi-clusters et la tarification à la seconde ont fourni un 800 % d’économies tout en prenant en charge un nombre exponentiel de données et de calcul.

Puissants outils de surveillance et de gestion

Les fonctionnalités de surveillance des ressources intégrées de Snowflake offrent aux clients une transparence totale de l’utilisation et de la facturation, permettant des capacités de rétrofacturation et de rétrofacturation granulaires liées aux budgets individuels. Des données granulaires sur les performances et la consommation sont disponibles dans Snowsight ou via des outils de BI externes pour des prévisions d’utilisation avancées. Pour compléter ses capacités de surveillance, Snowflake fournit de puissants outils d’alerte et de gestion de l’utilisation qui peuvent être appliqués au niveau de l’utilisateur, de la ressource, de la charge de travail et du compte. Et contrairement à certaines plates-formes cloud, Snowflake offre des capacités de réglage approfondies pour les scénarios avancés.

La tarification basée sur la consommation permet l’efficacité et l’agilité

Contrairement aux solutions traditionnelles, Snowflake utilise les ressources de manière beaucoup plus efficace, ce qui permet de réaliser d’importantes économies, par exemple :

  • Les ressources de calcul peuvent être augmentées ou réduites de manière dynamique pour chaque charge de travail individuelle en fonction de la demande de plus de simultanéité ou de puissance de calcul brute. Chaque charge de travail individuelle peut être configurée pour hiérarchiser les performances ou appliquer des contrôles de coûts stricts, en fonction des besoins de l’entreprise.
  • Snowflake peut automatiquement réduire et même suspendre complètement les ressources de calcul. Couplé à la facturation à la seconde, cela signifie que Snowflake vous permet d’arrêter d’engager des coûts lorsque les tâches sont terminées.
  • Les coûts de stockage pour Snowflake sont généralement un coût répercuté par le fournisseur de cloud sous-jacent. Tout comme pour le calcul, il n’y a pas de limites de taille et aucune planification de capacité requise pour le stockage ; vous chargez simplement les données dans Snowflake selon vos besoins et payez pour ce que vous utilisez. De plus, Snowflake compresse automatiquement toutes les données, généralement de l’ordre de 3 à 5 fois, ce qui entraîne une utilisation du stockage nettement inférieure à celle lorsque les données brutes équivalentes sont stockées dans des entrepôts de données traditionnels ou un stockage de fichiers.
  • Snowflake fournit un ensemble robuste de services sans serveur qui sont optimisés pour les tâches de calcul très courtes, peu fréquentes ou légères. Des tâches telles que le chargement continu de données par lots via Snowpipe, l’accélération de la recherche via le service d’optimisation de la recherche de Snowflake, ainsi que la réplication et le basculement de la base de données sont disponibles selon les besoins sans qu’il soit nécessaire d’affecter un entrepôt virtuel dédié. Tout cela se traduit par des améliorations significatives de l’efficacité en limitant le temps d’inactivité des ressources.
  • Les opérations d’administration et de métadonnées telles que l’analyse des requêtes, les commandes SHOW et la diffusion de données pré-cachées relèvent de la couche Cloud Services de Snowflake, qui fournit une utilisation gratuite directement proportionnelle à la consommation de calcul quotidienne totale d’un compte. Cela signifie que la grande majorité de nos clients ne sont pas facturés pour ces services.

La flexibilité nécessite une surveillance et un contrôle

L’utilisation du calcul hautement élastique de Snowflake est facturée à la seconde. Les clients doivent donc surveiller en permanence l’utilisation, la croissance et l’efficacité des ressources pour s’assurer qu’elles correspondent aux exigences de performances et aux budgets. Même si Snowflake automatise l’optimisation des ressources, les administrateurs de compte ont la possibilité d’affiner davantage leur déploiement, en particulier à mesure que l’empreinte de calcul totale de leur organisation augmente.

10 façons d’optimiser les ressources de flocon de neige

En activant les fonctionnalités de base de surveillance et d’optimisation des ressources, vous pouvez facilement éviter les dépassements de coûts et découvrir les inefficacités.

Deuxième partie de cette série d’articles de blog plongera dans les 10 meilleures façons dont chaque administrateur Snowflake devrait optimiser sa consommation de ressources et de crédits, notamment :

  • Les bases de la configuration de la suspension automatique pour les entrepôts virtuels
  • Exemples détaillés d’utilisation de ACCOUNT_USAGE et INFORMATION_SCHEMA
  • Comment activer les seuils d’alerte et d’utilisation avec les moniteurs de ressources
  • Tableaux de bord d’utilisation prédéfinis disponibles auprès des partenaires BI de Snowflake

Pour en savoir plus sur l’optimisation des ressources et les meilleures pratiques d’utilisation, assistez à l’un de nos prochaines formations.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.