Snowflake étend son partenariat avec Microsoft pour améliorer l’interopérabilité grâce à Apache Iceberg

Effectif novembre 2024, cette fonctionnalité est désormais en public preview. Vous pouvez regarder une démo, l'essayer et lire la documentation.

Aujourd’hui, nous sommes ravis d’annoncer une extension de notre partenariat avec Microsoft afin d’offrir une expérience d’interopérabilité fluide et efficace entre Snowflake et Microsoft Fabric OneLake, en preview plus tard cette année. Nos clients communs pourront ainsi bénéficier d’un accès bidirectionnel aux données entre Snowflake et Microsoft Fabric, avec une copie unique des données avec OneLake in Fabric. Les entreprises utilisant les deux plateformes pourront le faire de manière plus rentable, au lieu de créer des pipelines ou de gérer des copies des données sur chaque plateforme. Cette interopérabilité est possible grâce à l’engagement de Snowflake et Microsoft à soutenir les principales normes ouvertes du secteur pour les formats de stockage analytiques : Apache Iceberg et Apache Parquet.

Cette nouvelle intégration permet aux entreprises d’utiliser leurs données de manière plus rentable. Par exemple, les données de Snowflake peuvent être intégrées de manière plus transparente aux applications Microsoft 365, telles que Teams, Excel, PowerPoint et Outlook, via Fabric. Et les données de Fabric OneLake peuvent être étendues au Data Cloud Snowflake pour l’IA cross-cloud, les applications, le partage et la collaboration, et les analyses avancées, parmi de nombreux autres workloads.

Afin d’offrir ces avantages, Snowflake et Fabric ajouteront ces fonctionnalités pour leurs clients dès maintenant et plus tard cette année :

• Snowflake pourra stocker des données au format Iceberg dans OneLake (en preview officielle avant la fin de l’année).
• Fabric pourra stocker des données au format Iceberg dans OneLake via la traduction Apache XTable dans OneLake.
• Les données écrites par l’une ou l’autre des plateformes, Snowflake ou Fabric, seront accessibles à partir des deux plateformes.
• Snowflake pourra lire les artefacts de données Fabric dans OneLake, stockés physiquement ou virtuellement via des raccourcis.
• Les données de Snowflake et Fabric peuvent être utilisées par une variété de services, tels que Microsoft 365, Copilot dans Microsoft 365, Snowflake Cortex AI, Azure AI Studio, Snowflake Copilot et plus encore.

Prenons un exemple du fonctionnement de cette nouvelle intégration. Supposons que vous travailliez sur un projet de fidélité client, mais qu’une table des membres fidèles soit gérée par une équipe dans Snowflake tandis que les données de vente et de support sont dans Microsoft Azure. Plutôt que de conserver des copies des données dans chaque plateforme, vous pouvez utiliser l’une ou l’autre pour accéder à une copie unique de toutes les données stockées dans Fabric OneLake.

Commencez par créer un volume externe dans Snowflake qui pointe vers votre compte Fabric OneLake. C’est là que Snowflake stockera les données des membres fidèles au format Iceberg. Lorsque vous créez cette Iceberg Table à partir de Snowflake, vous pouvez spécifier d'utiliser Snowflake comme catalogue Iceberg et Fabric OneLake comme volume externe. Comme Snowflake opère sur les tables et écrit les données, OneLake convertira automatiquement les métadonnées Iceberg au format Delta Lake, sans réécrire les fichiers Parquet, afin que les moteurs Fabric puissent interroger les mêmes tables.

De même, Fabric OneLake permet à Snowflake de lire toutes les données OneLake au format Iceberg, pour être utilisées par le moteur de Snowflake. Cela signifie que vous pouvez créer une Iceberg Table à partir de Snowflake qui pointe vers les données Iceberg dans OneLake, qui peuvent ensuite être interrogées. Par exemple, vous pouvez utiliser les fonctions LLM de Snowflake Cortex AI pour calculer les avis sur les scores des cas de support ou résumer les transcriptions d’appels.

Snowflake et Microsoft développeront cette nouvelle intégration de manière collaborative au cours des prochains mois. Restez à l’affût pour d’autres annonces au Snowflake Data Cloud Summit les 3 et 6 juin à San Francisco. Cependant, les Iceberg Tables dans Snowflake sont actuellement disponibles en public preview. Si ce n’est pas déjà fait, vous pouvez essayer les Iceberg Tables avec ce guide quickstart, ou regarder une démo pour voir comment Iceberg est intégré à la plateforme Snowflake, comme les fonctions de LLM Cortex AI.