Snowflake sur Snowflake pour l’analyse de la sécurité et la conformité réglementaire

Snowflake sur Snowflake pour l’analyse de la sécurité et la conformité réglementaire

De nombreuses organisations utilisent Snowflake pour analyse de la sécurité, conformité réglementaire et anti-fraude. Cela inclut l’utilisation de Snowflake en tant que produit SIEM (Security Information and Event Management). Ils placent d’énormes quantités de données pertinentes dans Snowflake et utilisent son architecture évolutive pour détecter, enquêter et signaler rapidement les cybermenaces et les fraudeurs.

L’une de ces organisations comprend Snowflake, car notre équipe interne de sécurité de l’information (InfoSec), que je gère, est entièrement impliquée dans l’utilisation de Snowflake pour l’analyse de la sécurité. Dans cet article de blog, nous partagerons les détails de notre parcours d’un autre produit d’analyse de sécurité/SIEM à Snowflake.

L’ARRIÈRE-PLAN

Snowflake stocke les données commerciales critiques de ses clients et la protection de ces données est primordiale. Nous devons être en mesure de détecter toute action ou activité de menace telle que les comptes compromis, les mouvements latéraux et l’exfiltration de données.

Pour y parvenir, nous avons mis en place il y a des années une solution SIEM basée sur le cloud pour indexer les événements et enregistrer les données des produits informatiques et de sécurité internes de Snowflake et exploiter ces données pour détecter et vaincre les cybermenaces. Nous n’avons évalué que les solutions basées sur le cloud en raison de leurs avantages par rapport aux solutions sur site, notamment un retour sur investissement plus rapide, l’absence d’appliances physiques coûteuses, des coûts de maintenance réduits, etc.

DÉFIS AVEC D’AUTRES SOLUTIONS D’ANALYSE DE LA SÉCURITÉ DANS LE CLOUD

L’équipe InfoSec de Snowflake a très rapidement commencé à rencontrer des défis avec ce produit basé sur le cloud, notamment :

  • Un pourcentage élevé de faux positifs. Il avait des règles prédéfinies qui n’étaient pas adaptées à l’environnement unique de Snowflake, et il était difficile d’y créer des règles personnalisées et précises. Le résultat était des alertes quotidiennes dépassant souvent 2000, un nombre qui n’était pas gérable et a conduit à la fois à la lassitude des alertes et à la crainte qu’une menace valide puisse passer inaperçue.
  • Problèmes d’évolutivité. Une architecture faible signifiait une mise à l’échelle pour gérer plus de données et des recherches complexes étaient difficiles, et cela entraînait des recherches extrêmement lentes.
  • Extensibilité et flexibilité limitées. Pour certaines sources de données, en particulier les applications personnalisées, il était très difficile d’indexer leurs journaux. Il était également difficile de personnaliser l’interface utilisateur pour visualiser et enquêter sur les menaces comme nous le souhaitions.
  • Coûts élevés. Les coûts de licence étaient si élevés que nous n’étions pas en mesure d’indexer toutes les sources de données que nous voulions, ni de stocker les données pendant les longues périodes souhaitées. La conservation des journaux était mesurée en jours et nous craignions que si nous devions enquêter sur un problème grave, l’ensemble de données de réponse aux incidents serait plein de trous.

Nous savions que quelque chose de mieux était nécessaire pour l’analyse de la sécurité. Il était temps pour une nouvelle approche.

SNOWFLAKE POUR L’ANALYSE DE LA SÉCURITÉ : DÉPLOIEMENT ET ARCHITECTURE

À cette époque, nous savions qu’au moins un client de Snowflake, une société de services financiers du Fortune 100, utilisait Snowflake pour de meilleures analyses de sécurité automatisées par rapport au SIEM traditionnel, et c’est à ce moment-là que nous avons réalisé que la réponse était juste devant nous. Flocon de neige! Bien sûr, les entrepôts de données ne sont généralement pas associés à l’analyse de la sécurité, mais c’était avant l’arrivée de Snowflake et de son architecture unique. Snowflake est une plate-forme basée sur le cloud, hautement évolutive, flexible et rentable qui peut ingérer et stocker toutes les données, y compris les données semi-structurées, en un seul endroit pour accomplir tous les cas d’utilisation SIEM clés : requêtes/détections, enquêtes, rapports et conformité. Nous avons donc commencé à développer Snowflake pour l’analyse de la sécurité en quelques semaines.



Nos journaux d’activité cloud étaient déjà collectés dans des compartiments cloud au format JSON, il était donc facile pour l’automatisation de Snowflake Snowpipe service pour les ingérer. Les journaux des serveurs et des applications sur site ont été collectés dans des buckets cloud via des agents open source tels que osquery, Fluentd et Elastic Beats. Pour les applications SaaS, nous avons interrogé les points de terminaison de l’API REST des applications avec les fonctions AWS Lambda. Nous plaçons également des données contextuelles « non événementielles » dans Snowflake. Ces données comprenaient l’inventaire des actifs, la configuration du cloud et les données de l’annuaire des utilisateurs. Ces informations contextuelles ont été intégrées dans les règles de détection pour une meilleure précision.

Pour faciliter la tâche des équipes InfoSec des clients Snowflake, mon équipe a regroupé une grande partie de ce travail de mise en œuvre dans un cadre d’analyse open source gratuit appelé SnowAlert. Dans SnowAlert, les règles de détection sont définies dans un SQL très précis, exécutées selon un calendrier, et les résultats sont stockés dans Snowflake à des fins d’investigation et de création de rapports. Nous avons également inclus l’intégration JIRA et des packs de requêtes SQL avec un contenu prédéfini pour les cas d’utilisation courants. SnowAlert est ouvert aux contributions de tous les utilisateurs ; c’est un endroit idéal pour la collaboration entre les ingénieurs de sécurité. Avec l’aimable autorisation de notre partenaire Hashmap, en savoir plus sur SnowAlert ici.

Enfin, nous avons utilisé un produit de veille économique intuitif basé sur le cloud comme interface utilisateur pour afficher, enquêter et signaler les alertes, et pour visualiser notre posture de sécurité globale. Au cours des premières semaines de déploiement, nous avons affiné nos requêtes SQL/règles de détection et affiné notre flux de travail et nos rapports d’examen des incidents de l’interface utilisateur. Nous nous sommes retrouvés avec une solution complète d’analyse de la sécurité parfaitement adaptée à notre environnement et à nos processus uniques.

AVANTAGES DE SNOWFLAKE POUR L’ANALYSE DE SÉCURITÉ

Lorsque nous avons terminé, les avantages ont été immédiats et substantiels, et ils se sont améliorés avec le temps. Les avantages incluent :

  • Haute précision. Le langage SQL flexible et puissant permet à mon équipe d’écrire des requêtes adaptées à notre environnement unique et aux menaces auxquelles nous sommes confrontés. Le résultat est une grande précision et un minimum de faux positifs. Il n’y a plus de fatigue d’alerte car le volume d’alertes quotidien typique a été réduit à moins de 20 tickets. Mon équipe peut désormais enquêter sur chaque détection jusqu’à sa cause profonde, et les activités suspectes qui auparavant auraient été perdues dans le bruit sont désormais analysées de près. L’équipe dispose également de plus de temps pour modéliser les menaces et rédiger davantage de règles de détection pour les nouveaux cas d’utilisation.
  • Évolutivité illimitée et élastique. La technologie cloud unique de Snowflake architecture sépare le stockage et le calcul et peut évoluer automatiquement vers le haut et vers le bas sans pratiquement aucune limite. Une seule charge de travail, qu’il s’agisse de l’ingestion de données d’événement ou d’une requête SQL, peut obtenir les ressources de calcul dédiées dont elle a besoin pour être extrêmement rapide. Mon équipe voit désormais des requêtes extrêmement rapides qui permettent une détection et des investigations rapides des menaces, et il n’est pas nécessaire de limiter les recherches ou les utilisateurs simultanés.
  • Extensibilité et flexibilité. L’extensibilité de Snowflake facilite l’obtention d’événements et de journaux à partir de n’importe quelle source de données, même des applications personnalisées, dans Snowflake. Il peut également prendre en charge des requêtes SQL très personnalisées et adaptées et fonctionner avec essentiellement n’importe quel produit d’informatique décisionnelle ou d’analyse avancée/science des données. En utilisant un produit de business intelligence avec une interface utilisateur facile à utiliser, l’équipe InfoSec de Snowflake peut rapidement et facilement créer n’importe quelle interface ou rapport personnalisé dont nous avons besoin.
  • Coûts réduits. Snowflake a fini par coûter plus de 90 % de moins que la solution précédente. Une grande partie de cela provient du modèle équitable de paiement à l’utilisation de Snowflake, qui ne facture que les ressources de calcul au fur et à mesure qu’elles sont utilisées. Certaines économies proviennent de Snowflake passant par les très faibles coûts de stockage du fournisseur de cloud de 23 $/To/mois après compression ; ce faible coût de stockage nous permet désormais de stocker toutes nos données d’événements indéfiniment sans avoir besoin de les supprimer. Enfin, la réduction des coûts provient également de la facilité d’utilisation et de la maintenance quasi nulle de Snowflake.

La solution a si bien fonctionné que d’autres équipes internes se sont impliquées. L’équipe de conformité de Snowflake indexe les données dans Snowflake et crée les rapports et les tableaux de bord dont ils ont besoin pour prouver la conformité aux contrôles techniques auprès des auditeurs. L’équipe informatique et des opérations de Snowflake visualise les métriques opérationnelles qui les concernent dans les données.

CAPTURES D’ÉCRAN

Parce qu’une image vaut mille mots, voici quelques captures d’écran de ce à quoi ressemble le déploiement interne de Snowflake for Security Analytics :

Informations de sécurité et gestion des événements
SnowAlert et une alerte pour détecter le démarrage des scripts shell dans l’environnement EC2

Informations de sécurité et gestion des événements
Outil de business intelligence basé sur le cloud affichant les alertes résultantes de SnowAlert

Informations de sécurité et gestion des événements
Outil de business intelligence basé sur le cloud montrant à quel point il est facile de mener des enquêtes sur les données.

FERMETURE

C’était donc le parcours de l’équipe InfoSec interne de Snowflake, de savoir que nous avions besoin d’une solution d’analyse, de lutter avec une solution traditionnelle, pour réussir avec Snowflake. Le résultat net a été une détection, des enquêtes, des rapports et une conformité bien meilleurs, plus rapides et à moindre coût… tous basés sur des données riches.

Si vous souhaitez en savoir plus, consultez le Page Web de l’analyse de sécurité Snowflake et lire le guide des solutions. Pour parler avec Snowflake Sales pour en savoir plus, voir une démo ou collaborer avec nous sur SnowAlert, rendez-vous sur cette page internet.

Merci de votre intérêt pour Snowflake et de nous permettre de partager notre voyage avec vous.

Omer Singer, directeur principal de la sécurité
Mario Duarte, vice-président de la sécurité
Joe Goldberg, directeur du marketing produit

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.