Snowflake Summit 2023 : découvrez les dernières nouveautés !

Le Snowflake Summit de cette année a été d’une envergure sans précédent, marquant des avancées significatives dans leur volonté de briser les silos et d’unifier toutes la data des entreprises dans une plateforme globale.

Snowflake au fil du temps

En retraçant l’histoire de Snowflake, on observe une déconstruction de divers types de silos, reflétant les différentes étapes de l’évolution de la plateforme:

Silos départementaux et technologiques : Snowflake a débuté en détruisant les silos dans l’entreprise (RH, Finance, etc.). Puis en fournissant un environnement de partage de données et de collaboration trans-cloud et multi-région pour les clients et leurs partenaires.

Silos de données : Snowflake Data Cloud permet de gérer toutes les formes de données (structurées, semi-structurées et non structurées) avec une sécurité et une gouvernance de pointe.

Silos de développement : En supportant l’utilisation de divers langages de programmation (SQL, Python, Scala, Java,…) sur un seul moteur grâce à Snowpark. Cette étape a ouvert la voie à une plus grande flexibilité pour construire, exécuter, distribuer et monétiser des applications data.

Silos de cas d’usages: En permettant à tous les utilisateurs (analystes, développeurs, ingénieur data et ML,…) de travailler sur tous les types de charges de travail (AI/ML, applications data, cybersécurité, ingénierie des données, entrepôt de données, data lake, données transactionnelles, etc.).

Silos de Machine Learning : Enfin, Snowflake progresse vers la gestion de l’intégralité du cycle de Machine Learning au sein de la même plateforme. Cette capacité à prendre en charge toutes les phases des projets de data science, de la préparation des données à l’entraînement des modèles, en passant par leur évaluation, leur déploiement et leur surveillance, renforce encore la vision unifiée de la plateforme.

La stratégie d’innovation de Snowflake est aussi fortement portée par des acquisitions stratégiques. En janvier 2023, ils ont acquis Myst AI, une start-up spécialisée dans les séries temporelles, et fin 2022, ils ont également fait l’acquisition d’Applica AI, qui se concentre sur les modèles de langage de grande taille (LLMs). Ces rachats permettent d’intégrer directement des capacités de ML sans nécessiter le développement de modèles spécifiques.

Et ce n’est pas tout ! Le partenariat annoncé avec Nvidia lors du Summit témoigne de l’ambition de Snowflake d’accélérer encore davantage sa croissance, notamment grâce aux IA génératives.

Snowflake Summit 2023

Voici les principales annonces faites pendant le Summit:

1.Snowpark Container Services

Qu’est qu’un container et pourquoi c’est important ?

Les conteneurs constituent des unités de logiciels autonomes qui encapsulent tous les éléments nécessaires pour fonctionner dans n’importe quel environnement. Ces éléments incluent le code de l’application, les dépendances et un système d’exploitation virtuel et léger pour exécuter ce code. Le principal avantage des conteneurs réside dans leur capacité à assurer une cohérence entre les différentes plateformes de développement, de test et de déploiement.

Snowpark Container Services propose un environnement spécialement conçu pour l’exécution des conteneurs, similaire à un framework Kubernetes. Cette nouveauté est une véritable avancée, car les développeurs peuvent désormais exécuter leur code legacy sur les données de Snowflake, sans avoir à les exporter.

Ce service offre beaucoup de flexibilité, par exemple : l’exécution de code dans n’importe quel langage, y compris C/C++, Ruby, R .NET, React, et bien d’autres, l’exploitation d’applications AI/ML en temps réel. L’exploitation de modèles de langage de grande taille (LLMs) et de l’IA générative bénéficiera de l’accès à la puissance de calcul des dernières générations de GPU Nvidia.

L’avantage de Snowpark Container Services réside dans sa capacité à permettre aux développeurs de distribuer des applications qui s’exécutent entièrement dans le compte Snowflake de leur client final. Cela signifie que les utilisateurs de Snowflake peuvent installer et exécuter en sécurité des produits data de pointe, à base d’AI et de LLMs, tout en protégeant la propriété intellectuelle du fournisseur. Par ailleurs, des partenaires, comme Dataiku, proposent dès à présent des services d’inférences déployés sur Snowpark Container Services.

2. Snowflake Native Application Framework

Ce cadre permet aux développeurs de créer, distribuer et monétiser des applications en utilisant les fonctionnalités comme Snowpark, Streamlit, Container Services, Snowpipe Streaming, etc. Ces applications peuvent ensuite être distribuées aux clients de Snowflake via la Marketplace, de manière privée ou publique. Les développeurs peuvent monétiser leurs applications avec leurs propres modèles de tarification, comme un abonnement mensuel, un mode basé sur la consommation, ou des frais uniques.

Les clients peuvent alors installer ces applications dans leur compte Snowflake en utilisant leurs propres crédits Snowflake. Ainsi, les clients n’ont pas à déplacer leurs données et les développeurs n’ont pas à gérer l’infrastructure. Les gains d’une telle approche sont multiples : tout au long du cycle de vie des applications pour les développeurs, et permet de raccourcir les cycles d’approvisionnement en applications pour les clients.

Plusieurs applications ont déjà été lancées pour diverses utilisations, comme le nettoyage et l’enrichissement des données, l’analytique avancée, des connecteurs (pour charger de la donnée), la gestion des coûts et de la gouvernance, ou encore pour la mise en place de data clean room.

3. LLM, and Generative AI

La priorité de Snowflake est désormais l’IA générative. À cette fin, un partenariat stratégique a été mis en place avec Nvidia. Leur plateforme, Nvidia NeMo, permet aux utilisateurs de créer leurs propres LLMs et de fournir des GPUs pour intégrer l’IA générative dans les applications cloud.

« We want to be the platform of choice for building generative AI experiences, assistants, co-pilots and user applications » Christian Kleinerman, Snowflake’s senior vice president of product

Par ailleurs, Snowflake a annoncé Document AI, son premier LLM développé en interne suite à l’acquisition d’Applica. Cet outil utilise la technologie d’IA générative d’Applica pour permettre aux utilisateurs de mieux comprendre les documents textuels et de convertir ces données non structurées en un format exploitable pour l’analyse.

À terme, ces LLMs serviront également pour les développeurs, permettant de générer du code SQL et Python à partir de langage naturel, directement dans Snowflake. Un bon moyen d’augmenter la productivité, l’accès aux données de l’entreprise pour encore plus d’utilisateurs… et la consommation !

Snowflake se positionne donc comme une plateforme pour la construction d’applications basées sur l’IA générative et les LLMs, avec une perspective de collaboration étroite avec Nvidia et un accent particulier sur la facilité d’utilisation pour les clients.

4. Quelques autres nouveautés

Tables Iceberg : Basé sur la spécification Apache Iceberg, ces tables permettent de stocker les métadonnées de transaction sur les intégrations externes (S3, ADLS2, GCS). Cela permet de spécifier l’implémentation d’un data catalogue (géré par Snowflake ou par le client) pour tables externes et une interopérable avec l’écosystème Iceberg.

Streamlit dans Snowflake Streamlit, une bibliothèque Python open-source qui facilite la création d’applications web interactives, peut maintenant être exécuté directement dans Snowflake.

Intégration de GIT : Une intégration native de GIT, permettant de visualiser, d’exécuter, de modifier et de collaborer sur du code stocké dans les dépôts GIT directement depuis la plateforme Snowflake.

En guise de conclusion, nous vivons une période captivante dans le domaine de la data et grâce aux IA génératives et LLMs. Ces avancées constantes redéfinissent notre manière de générer et d’interagir avec le texte, le code, l’image, la vidéo… Le futur promet d’être fascinant. 

———————————–

Source : « Snowflake Summit 2023 : Résumé des nouveautés annoncées » par Jérémy BRON, Senior Manager Data chez POLARYS
https://www.linkedin.com/pulse/snowflake-summit-2023-r%C3%A9sum%C3%A9-des-nouveaut%C3%A9s-annonc%C3%A9es-j%C3%A9r%C3%A9my-bron