Boostez l’analyse avec l’apprentissage automatique et la préparation avancée des données

Boostez l’analyse avec l’apprentissage automatique et la préparation avancée des données


Les entreprises peuvent désormais exploiter la puissance d’Apache Spark pour préparer rapidement et facilement des données et créer des modèles d’apprentissage automatique (ML) directement à partir de ces données dans Snowflake. Snowflake et Qubole facilitent le démarrage en intégrant les pilotes requis, en sécurisant les informations d’identification, en simplifiant la configuration de la connexion et en optimisant le traitement dans la base de données. Les clients peuvent se concentrer sur le démarrage rapide de la préparation de leurs données et Initiatives de ML au lieu de vous soucier des intégrations complexes et du coût du déplacement de grands ensembles de données.

La configuration de la connexion Snowflake et la mise en route ne prennent que quelques minutes. Les clients créent d’abord un magasin de données Snowflake dans Qubole et entrent les détails de leur entrepôt de données Snowflake. Tous les pilotes et packages sont préchargés et tenus à jour, ce qui élimine le démarrage manuel des jars dans le cluster Spark. Aucune configuration ou réglage supplémentaire n’est requis et il n’y a pas de coûts supplémentaires pour l’intégration. Une fois la connexion enregistrée, les clients peuvent parcourir leurs tables de flocons de neige, afficher les métadonnées et voir un aperçu des données Snowflake à partir de l’interface Qubole. Ils peuvent ensuite utiliser les blocs-notes Zeppelin pour commencer à lire et à écrire des données sur Snowflake lorsqu’ils commencent à explorer la préparation avancée des données et les cas d’utilisation de ML.

Vous trouverez ci-dessous un exemple de la vue du navigateur d’objets montrant les tables et les propriétés disponibles :

image1

La sécurité est également gérée de manière transparente afin que les clients puissent se concentrer sur le démarrage avec leurs données, sans se soucier de surprotéger leurs informations d’identification. Qubole fournit une gestion des informations d’identification centralisée et sécurisée qui élimine le besoin de spécifier des informations d’identification en texte brut. Le nom d’utilisateur et le mot de passe sont entrés uniquement lors de la configuration du magasin de données, mais sont autrement inaccessibles.

La solution est également conçue pour les besoins des entreprises et permet aux clients d’utiliser l’authentification fédérée et l’authentification unique via les pilotes Snowflake intégrés. Avec SSO activé, les clients peuvent s’authentifier via un fournisseur d’identité (IdP) externe conforme à SAML 2.0 et atteindre un niveau supérieur de sécurité et de simplicité. Ces fonctionnalités aident les clients à partager plus facilement des blocs-notes et à collaborer sur des projets avec peu de risque que des informations sensibles soient exposées.

Vous trouverez ci-dessous un exemple de programme Scala montrant comment lire à partir de Snowflake à l’aide de l’objet de magasin de données sans spécifier d’informations d’identification en texte brut :

image2

Au-delà de la simplicité et de la sécurité de l’intégration, qui aide les clients à démarrer rapidement, les clients bénéficieront également d’une intégration Spark hautement optimisée qui utilise Snowflake requête déroulante pour équilibrer la puissance de traitement des requêtes de Snowflake avec les capacités de calcul d’Apache Spark. Des opérations simples de projection et de filtrage aux opérations avancées telles que les jointures, les agrégations et même les fonctions SQL scalaires, le refoulement des requêtes exécute ces opérations dans Snowflake (où résident les données) pour aider à affiner et pré-filtrer les données avant qu’elles ne soient lues dans Spark. Les problèmes traditionnels de performance et de coût associés au déplacement de grandes quantités de données à traiter sont ainsi éliminés sans frais généraux ni gestion supplémentaires.

Avec Snowflake et Qubole, les clients bénéficient d’une plate-forme optimisée pour la préparation avancée des données et le ML qui simplifie le démarrage. Les clients peuvent compléter leur stratégie d’entrepôt de données cloud existante ou tirer davantage parti des initiatives de ML en ouvrant l’accès à davantage de données. Pour en savoir plus sur le ML et la préparation avancée des données avec Qubole, visitez le blog Qubole.

Essayez Snowflake gratuitement. S’inscrire et recevez 400 USD d’utilisation gratuite. Vous pouvez créer un bac à sable ou lancer une implémentation de production à partir du même environnement Snowflake.

Liens supplémentaires

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.