Comment le California Department of Technology utilise Snowflake pour mobiliser sa réponse au COVID-19

Comment le California Department of Technology utilise Snowflake pour mobiliser sa réponse au COVID-19

jesaac Cabrera, responsable de l’information géographique de l’État de Californie et responsable des données et des services géospatiaux au California Department of Technology (CDT), a rencontré un groupe d’utilisateurs du secteur public de Snowflake en février 2021 pour expliquer comment son organisation s’appuie sur Snowflake dans son rôle de gardien des données publiques pendant la pandémie de COVID-19.

CDT est un leader dans les services et solutions de technologie de l’information et supervise tous les aspects de la technologie à travers l’État. En tant que gestionnaire de données et de services géospatiaux, Cabrera travaille sur des crises critiques d’agences interétatiques telles que les incendies de forêt, les tremblements de terre, les urgences sanitaires, etc. En outre, il représente l’État dans toutes les questions relatives aux systèmes d’information géographique (SIG), aidant à combler le fossé entre l’État, les gouvernements locaux et les secteurs public et privé.

Avant de rejoindre Cabrera, l’équipe CDT a commencé à étudier l’idée de construire un entrepôt de données virtuel au début de janvier 2020. Lorsque la pandémie de COVID-19 a frappé peu de temps après, il est devenu évident que la Californie avait besoin d’un emplacement centralisé et faisant autorité à partir duquel partager COVID -19 données. C’était une coïncidence opportune que l’équipe venait de terminer une preuve de concept Snowflake et a été impressionnée par le résultat.

Au fur et à mesure que la pandémie se développait, il était utile que Snowflake soit déjà opérationnel avec les outils nécessaires et un espace de stockage cloud illimité. Snowflake a satisfait aux exigences de l’État en matière d’agrégation et de stockage sécurisés des données sur les cas positifs de COVID-19, les décès et les tests, ainsi que les données de la California Hospital Association telles que le nombre de lits d’hôpitaux disponibles dans l’État.

Snowflake s’est également facilement intégré au logiciel SIG Ersi et à Tableau, les solutions de tableau de bord et d’analyse choisies par CDT. Les données des tableaux de bord et des analyses provenaient de Snowflake, sous forme d’extrait ou de requête de connexion directe.

Avec Snowflake en place, CDT a rapidement établi le référentiel de données faisant autorité sur COVID-19 pour l’État. En exploitant Snowflake Data Marketplace, CDT a ensuite pu partager des données en toute sécurité avec des agences et départements d’État, des départements et agences de santé de comté et des partenaires de santé tels que des hôpitaux, des fournisseurs de vaccins et autres. CDT a également pu créer un état COVID-19 site Internetun portail de données ouvert auquel le public peut accéder à tout moment pour des mises à jour.

« Notre déploiement de l’entrepôt de données COVID-19 sur Snowflake s’est très bien déroulé », explique Cabrera. « Nous avons eu une adoption rapide et les différents utilisateurs ont pu évoluer sans problème même si les données augmentaient rapidement. »

Informer tout le monde : besoin urgent de données fiables et exactes

L’entrepôt de données COVID-19 impliquait de nombreuses technologies, sources d’informations, points d’ingestion et charges ETL. Une fois collectées, les données ont été conservées dans différents formats et distribuées. Au fur et à mesure que la pandémie progressait, les besoins en matière de rapports se sont élargis pour inclure les rapports sur les tests COVID-19 et, éventuellement, la disponibilité des vaccins, les points de distribution et les rapports sur les progrès.

« La plate-forme Snowflake nous a permis de consolider les données de plusieurs sources, puis de diffuser un seul message à de nombreux endroits où les gens pouvaient accéder aux données », explique Cabrera. « Le fait d’avoir une seule source de vérité dans Snowflake nous a aidés à nous assurer qu’un message cohérent était envoyé à tous les utilisateurs. »

« L’équipe Snowflake a passé beaucoup de temps avec CDT pour s’assurer que cela réussisse », ajoute Cabrera. « Nous apprécions vraiment l’équipe Snowflake. »

Activation des rapports de test Covid et de la notification publique

CDT a aidé le California Department of Public Health (CDPH) à créer un système d’audit qui montrait le nombre de résultats de tests COVID-19. L’équipe a créé une solution miroir à l’aide de Snowflake qui a enregistré ce qui arrivait et a créé un tableau de bord qui le rendrait facile à surveiller pour tout ce qui n’est pas synchronisé. L’effort a été couronné de succès.

Les données que CDT a collectées avec Snowflake ont également été canalisées vers Avis CA, une application téléphonique développée par Google et Apple permettant aux personnes qui ont été testées pour le COVID-19 de collecter anonymement des données via Bluetooth pendant qu’elles se promènent. Les données de Snowflake ont été intégrées au choix d’activation de l’application pour envoyer des notifications permettant aux utilisateurs de savoir s’ils avaient été en contact avec une personne testée positive.

Développement Open Source pour un partage facile

« Un avantage clé de la solution que nous avons mise en œuvre avec Snowflake est que nous avons pu faire demi-tour et la rendre open source, permettant à d’autres États de bénéficier du travail que nous avons fait », explique Cabrera. « Le code est en Python. Nous travaillons sur un modèle DevOps que vous pouvez utiliser pour jouer avec le code. Tout se déroule des entrepôts Snowflake aux fonctions sans serveur Azure. Nous appliquons maintenant cette technologie aux rapports de vaccination.

Grâce à la technologie Snowflake, CDT peut connecter virtuellement l’entrepôt de données COVID de l’État de Californie directement à un système de fournisseur utilisé par CDPH, et il n’y a pas de duplication de données. Auparavant, les duplications pouvaient poser problème ou les données pouvaient devenir rapidement obsolètes.

« Le partage de données de Snowflake a beaucoup facilité les choses, en particulier pendant la pandémie », note Cabrera.

Un ensemble d’outils pour l’avenir

Snowflake fait désormais partie d’un ensemble diversifié d’outils utilisés par le département. Grâce à cet ensemble d’outils, CDT cherche à permettre un accès en libre-service à l’analyse des données et travaille sur un modèle de métadonnées qui inclut la gouvernance des données.

« Nous avons créé une plateforme de données incroyable avec Snowflake. Nous avons déployé la première version en quelques jours seulement et l’avons entièrement intégrée à nos processus agiles en un mois. Je suis fier de faire partie de ce projet et fier de tous ceux qui ont travaillé ensemble pour le déployer si rapidement », déclare Cabrera. « La question que nous avons maintenant n’est pas de savoir si quelque chose est possible, mais plutôt comment tirer le meilleur parti de nos données, y accéder, puis intégrer davantage d’automatisation. »

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.