Les données de votre entreprise ont besoin d’un agent

Les agents d’IA, des systèmes autonomes qui effectuent des tâches à l’aide de l’IA, peuvent améliorer la productivité de l’entreprise en traitant des opérations complexes en plusieurs étapes en quelques minutes. Les agents doivent accéder aux volumes croissants de données structurées et non structurées d'une entreprise pour être efficaces et fiables. À mesure que les connexions aux données se développent, la gestion des contrôles d’accès et la récupération efficace d’informations précises, tout en maintenant des protocoles de confidentialité stricts, deviennent de plus en plus complexes.

Les résultats des agents dépendent uniquement de la qualité des données sous-jacentes et de la précision des systèmes de récupération qui contribuent à les exploiter. Pourtant, les entreprises ont du mal à ouvrir la voie de la production en raison d’un décalage entre l’IA et les données. Les LLM excellent dans le domaine des données non structurées, mais de nombreuses entreprises n’ont pas de pratiques de préparation matures pour ce type de données. Parallèlement, les données structurées sont mieux gérées, mais il reste des défis à relever pour permettre aux LLM de comprendre les lignes et les colonnes. 

Les clients Snowflake disposent désormais d’une plateforme unifiée pour le traitement et la récupération des données structurées et non structurées avec une grande précision. La gouvernance unifiée de bout en bout, de l’ingestion à l’application, permet aux équipes de fournir une nouvelle vague d’agents de données. Nos clients peuvent créer des solutions évolutives tout en appliquant des contrôles d’accès et de confidentialité. 

Le besoin en agents de données

Chez Snowflake, nous sommes convaincus que les agents d’IA joueront bientôt un rôle essentiel pour les effectifs des entreprises, en améliorant la productivité des équipes de support client, de techniciens sur le terrain, d’analyse, d’ingénierie et plus encore. Ils libéreront un temps précieux pour les collaborateurs afin qu’ils se concentrent sur les défis à plus forte valeur ajoutée auxquels l’entreprise est confrontée. Les agents de données, une catégorie spécialisée d’agents d’IA, combinent les données et les outils pour fournir des informations plus précises et fondées en sélectionnant efficacement les sources de données et les outils appropriés pour la récupération. 

Pour que les agents d’IA puissent travailler à grande échelle, ils ont besoin d’une connexion sécurisée avec les données de leur entreprise et d’une gouvernance unifiée pour gérer leur accès, similaire aux contrôles existants pour vos équipes. Ils doivent suivre des politiques en matière de données, accéder efficacement à plusieurs sources et extraire des informations précises pour obtenir des résultats fiables et de grande valeur.  

Cependant, nous comprenons que cet avenir agentique a des défis proportionnels à son potentiel. Alors que la qualité des modèles augmente et que les coûts d’inférence diminuent, nous observons le même ensemble de défis parmi les entreprises qui tentent de déployer des systèmes agentiques fiables à grande échelle :

• Précision : en termes de qualité, les attentes envers la production des agents dans les applications d’entreprise est élevée, la marge d’erreur est faible, en particulier dans les fonctions stratégiques comme la finance ou l’ingénierie.

• Confiance et sécurité : alors que nos clients développent des applications d’IA à plus forte intensité de données, il est de plus en plus difficile de respecter les politiques de sécurité et de gouvernance.

• Accès aux données gouvernées : les agents ont besoin d’accéder à une grande variété de sources de données pour fonctionner de manière fiable sur le contexte métier, y compris les sources de données non structurées (e.g., texte, audio) et structurées (e.g., tables, vues), qui sont souvent dispersées sur plusieurs systèmes.

La clé du développement des flux de travail agentiques qui exploitent les données réside dans l’interaction fluide entre les modèles et les données, tout en maintenant la précision, la confiance et la conformité. Par exemple, un analyste financier peut avoir besoin de combiner des données sur les revenus (structurées) avec des rapports financiers et des études de marché (non structurées). Ces cas d’usage d’entreprise nécessitent un accès sécurisé aux données et un moyen de faire remonter les bonnes informations à l’IA avec une gouvernance de bout en bout. 

Pour relever ce défi, nous sommes ravis de lancer Cortex Agents, un service entièrement géré qui simplifie l’intégration, la récupération et le traitement des données structurées et non structurées, aidant ainsi les clients de Snowflake à créer des agents de haute qualité à grande échelle.

Cortex Agents : l’IA au service des entreprises

Cortex Agents, désormais disponible en public preview, orchestre les sources de données structurées et non structurées (tables Snowflake ou fichiers PDF stockés dans un service de stockage d’objets) pour fournir des informations. Grâce à Cortex Search, Cortex Analyst et des LLM, les agents décomposent les requêtes complexes, récupèrent les données pertinentes et génèrent des réponses précises. Cela garantit précision, l’efficacité et la gouvernance à chaque étape. 

Que sont les Cortex Agents ?

Les Cortex Agents planifient les tâches, utilisent des outils pour les exécuter et réfléchissent aux résultats pour améliorer les réponses. Disponible en tant qu’API REST pratique, Cortex Agents peut s’intégrer facilement dans n’importe quelle application. Les agents utilisent Cortex Analyst (SQL structuré) et Cortex Search (données non structurées) comme outils, ainsi que des LLM, pour analyser et générer des réponses. Le flux de travail comporte quatre composantes clés :

1. Planification : les applications basculent souvent entre le traitement de données provenant de sources structurées et non structurées. Prenons l’exemple d’une application conversationnelle conçue pour répondre aux requêtes des utilisateurs. Un utilisateur métier peut d’abord demander les meilleurs distributeurs par chiffre d’affaires (structuré) puis demander des informations sur un contrat (non structuré). Cortex Agents peut analyser une requête pour orchestrer un plan et obtenir une réponse : 

• Explorer les options : lorsque l'utilisateur pose une question ambiguë (par ex., « Parlez-moi de Acme Supplies »), l'agent considère différentes permutations — produits, emplacement ou personnel de vente — pour lever l’ambiguïté et améliorer la précision.
• Scinder en sous-tâches : Cortex Agents peut diviser une tâche ou une demande (par ex., « Quelles sont les différences entre les clauses contractuelles avec Acme Supplies et Acme Stationery ? ») en plusieurs parties pour une réponse plus précise.
• Acheminer entre les outils : l’agent choisit un outil, Cortex Analyst, Cortex Search ou la génération de SQL à partir du langage naturel, pour faciliter l’accès gouverné et assurer la conformité aux politiques de l’entreprise.

2. Utilisation des outils : un plan mis en place permet à l’agent de récupérer les données efficacement. Cortex Search extrait des informations de sources non structurées, tandis que Cortex Analyst génère du code SQL pour traiter les données structurées. Une prise en charge complète de l’identification et de l’exécution des outils permet de fournir des applications sophistiquées reposant sur les données d’entreprise.

3. Réflexion : après chaque utilisation d’un outil, l’agent évalue les résultats pour déterminer les étapes suivantes : demander des éclaircissements, itérer ou générer une réponse finale. Cette orchestration lui permet de traiter des requêtes de données complexes tout en augmentant la précision et en continuant à maintenir les contrôles de conformité dans le périmètre sécurisé de Snowflake.

4. Surveillance et itération : après le déploiement, nos clients peuvent suivre les indicateurs, analyser les performances et affiner le comportement pour des améliorations continues. Sur l’application client, les développeurs peuvent utiliser TruLens pour surveiller l’interaction avec l’agent. En surveillant et en affinant continuellement les contrôles de gouvernance, les entreprises peuvent faire évoluer en toute confiance les agents d’IA tout en maintenant la sécurité et la conformité. 

Associé à d’autres offres Snowflake, Cortex Agents fournit désormais une solution de bout en bout pour récupérer, traiter et gérer les données structurées et non structurées à grande échelle.  

Snowflake étend ses capacités d’IA avec Cortex Agents en public preview, pour faciliter l’extraction d’informations sur les données en orchestrant des jeux de données structurées et non structurées. Cortex Agents rationalise l’orchestration et l’accès aux données des applications agentiques pour obtenir des décisions basées sur l’IA plus fiables en s’appuyant sur les améliorations apportées à nos services de récupération Cortex AI :

• Cortex Analyst, désormais disponible pour tous nos clients avec Anthropic Claude en tant que LLM clé alimentant la conversion text-to-SQL pour une récupération de données structurées de haute qualité.

• Cortex Search a obtenu une précision de pointe en matière de récupération des données non structurées de qualité, devançant les modèles d’intégration OpenAI d’au moins 12 % sur un ensemble diversifié de benchmarks (NDCG@10). 

Découvrons maintenant comment Cortex Analyst améliore l’analyse des données structurées et les dernières innovations améliorant ses capacités.

Cortex Analyst : génération de SQL alimentée par l’IA, avec compréhension sémantique

Cortex Analyst peut être utilisé comme un outil dans Cortex Agents. 

Contrairement aux systèmes text-to-SQL classiques qui s’appuient uniquement sur la mise en correspondance de modèles, Cortex Analyst utilise un modèle sémantique pour mapper les termes commerciaux avec les données sous-jacentes. Cette approche unique améliore la précision des cas d’usage réels impliquant des environnements complexes multi-tables.

Quelles nouveautés avec Cortex Analyst ?

1. Gestion de la complexité accrue des schémas

Cortex Analyst va désormais au-delà du simple schéma en étoile et des jointures de schéma Snowflake. Notre nouvelle validation JOIN avancée atténue les problèmes courants, tels que les hallucinations JOIN et le double comptage, qui surviennent souvent dans les requêtes complexes. Cortex Analyst peut ainsi prendre en charge les requêtes multi-tables sans compromettre la précision.

2. Génération et surveillance de modèles sémantiques

Notre public preview de la nouvelle interface utilisateur Analyst Admin dans Snowsight simplifie le processus de construction et d’affinage des modèles sémantiques. Les administrateurs peuvent sélectionner des tables et des colonnes et utiliser des LLM (exécutés dans le périmètre sécurisé de Snowflake) pour générer un fichier YAML de départ du modèle sémantique.

L’interface d’administration surveille également l’engagement des utilisateurs et leurs retours. Ainsi, nos clients peuvent suivre leur utilisation et apporter des améliorations éclairées aux modèles sémantiques au fil du temps.

3. Personnalisation pour une logique spécifique à l’entreprise

Grâce à la disponibilité générale de Custom Instructions, les utilisateurs peuvent adapter Cortex Analyst à leurs besoins professionnels spécifiques en utilisant le langage naturel dans le fichier de modèle sémantique. Les cas d’usage courants incluent la spécification des dates de début d’exercice, l’explication des conventions d’appellation internes et la hiérarchisation des tables clés lors de la génération de SQL.

4. Performances prouvées sur les benchmarks

Sur la base de benchmarks internes, nous avons atteint une précision de 90 % pour les cas d’usage de conversion text-to-SQL. Grâce à Claude 3.5 Sonnet d’Anthropic, nous sommes en mesure d’améliorer encore les performances pour une expérience améliorée. Cortex Analyst, qui fonctionne sur Claude, surclasse les autres modèles sur les requêtes réelles en utilisant les informations stockées dans le modèle sémantique.

Grâce à ces mises à jour, Cortex Analyst améliore l’analyse des données structurées et simplifie la configuration des administrateurs pour les applications agentiques.

Cortex Search : moteur contextuel de haute qualité pour les données non structurées

Cortex Agents utilise Cortex Search pour récupérer des données non structurées (e.g., texte, audio, image, vidéo). Cortex Search est une recherche nativement hybride, combinant une recherche vectorielle et lexicale (mot-clé), avec une étape supplémentaire de reclassement sémantique, pour offrir une récupération de haute qualité et à faible latence à grande échelle. 

Cortex Search atteint une qualité de pointe, dépassant les piles de recherche d’entreprise concurrentes en termes de précision de récupération (NDCG@10) avec les modèles d’intégration OpenAI d’au moins 12 % pour un ensemble diversifié de benchmarks. Nous avons évalué un ensemble représentatif de quatre jeux de données de référence en matière de recherche publique. Cortex Search, une recherche hybride utilisant Snowflake Arctic Embed L v2.0, a été comparé à un service de recherche concurrent basé sur Lucene et hébergé sur le cloud (e.g., Azure AI Search, AWS OpenSearch, ElasticSearch), utilisant à la fois la recherche hybride avec Text Embedding 3 Large d'OpenAI, ainsi que la recherche par mot-clé uniquement.

Quelles nouveautés avec Cortex Search ?

1. Augmentation de l’évolutivité et de l’abordabilité

Cortex Search prend désormais en charge l’indexation de centaines de millions de lignes. En outre, les coûts de service pour Cortex Search ont été réduits de 30 % grâce aux optimisations de l’infrastructure.

2. Personnalisation améliorée

Cortex Search permet désormais de sélectionner le modèle d’intégration vectorielle pour la recherche sémantique. Cela inclut deux modèles multilingues, snowflake-arctic-embed-l-v2.0 et voyage-multilingual-2. En outre, Cortex Search prend en charge le filtrage des plages de dates sur les colonnes de métadonnées.

3. Nouvelles fonctionnalités de preview 

Parmi les nouvelles fonctionnalités de preview, on peut citer l’interface utilisateur d’administration Cortex Search (pour l’observabilité et le réglage de qualité), l’accélération et la désintégration des signaux numériques et horaires, les scores de confiance des résultats et les fonctionnalités de filtrage avancées.

Grâce à ces nouvelles fonctionnalités, Cortex Search offre une base évolutive et personnalisable pour la recherche et les applications agentiques basées sur les données Snowflake.

Modèles anthropiques : les modèles SOTA qui alimentent Cortex Agents

Le LLM le plus intelligent d’Anthropic, Claude 3.5 Sonnet mis à jour, s’exécute dans Snowflake pour apporter un raisonnement avancé, le codage et l’exécution de flux de travail complexe aux applications d’entreprise en utilisant le même framework de gouvernance que les données. Ce modèle alimente désormais Cortex Analyst et peut être utilisé dans Cortex Agents, ce qui permet une récupération plus précise, une analyse avancée des données structurées et des flux de travail agentiques efficaces, le tout en maintenant une gouvernance à grande échelle.

Avec Claude 3.5 Sonnet, Cortex Agents peut planifier, orchestrer, réfléchir et surveiller les tâches basées sur l’IA avec une plus grande précision. Les capacités agentiques de Cortex sont améliorées grâce à la prise en charge de l’utilisation d’outils et à la production structurée. Nos clients peuvent utiliser la fonctionnalité multimodale de Claude 3.5 Sonnet pour obtenir des informations à partir d’un jeu plus large de données non structurées, y compris des images. Toutes les interactions se font au sein de l’environnement sécurisé de Snowflake, ce qui facilite un accès contrôlé et une gouvernance unifiée des cas d’usage. 

Nos clients peuvent utiliser Claude 3.5 dans Cortex Agents pour fournir une IA précise, efficace et gouvernée à grande échelle et accélérer la mise en œuvre d’applications d’IA générative.

AI Observability : évaluation et traçage des agents d’IA

L’observabilité de l’IA apporte fiabilité, performances et confiance aux applications d’IA générative. Avec des évaluations et un suivi appropriés, les entreprises peuvent obtenir des résultats plus précis, optimiser leurs coûts et répondre à leurs besoins en matière de gouvernance.

Quelles nouveautés avec Cortex AI Observability ? 

Cortex AI Observability sur Snowflake est optimisé par TruLens et sera bientôt disponible en public preview.

1. Évaluation de bout en bout

AI Observability peut évaluer les performances des agents et des applications, en utilisant des techniques telles que les LLM-as-a-judge. Il peut synthétiser des indicateurs tels que la pertinence, l’ancrage et la nocivité, ce qui permet aux clients d’itérer et d’affiner rapidement l’agent pour améliorer les performances. 

2. Comparaison

Les utilisateurs peuvent comparer les processus d’évaluation côte à côte et évaluer la qualité et la précision des réponses pour différentes configurations de LLM afin d’identifier la meilleure configuration pour les déploiements en production.

3. Traçage complet

Nos clients peuvent activer la journalisation à chaque étape de l’exécution d’un agent, qu’il s’agisse d’invites de saisie, de l’utilisation d’un outil ou de la génération d’une réponse finale. Cela facilite le débogage et l’affinage pour plus de précision, de latence et de coût. 

Une gouvernance et un traitement efficaces des données structurées et non structurées dans Snowflake sont essentiels pour créer des jeux de données adaptés à l’IA que les services de récupération peuvent utiliser. La prise en charge des données non structurées par Snowflake inclut des capacités de stockage, d’accès, de traitement, de gestion, de gouvernance et de partage de ces données. Le Snowflake Connector for SharePoint vérifie que les autorisations existantes sont respectées pour sécuriser les contrôles d’accès. En outre, l'acquisition de Datavolo par Snowflake améliore la capacité de la plateforme à gérer l'intégration de données multimodales, renforçant son engagement en faveur d'une gouvernance et d'un traitement des données fiables.

Grâce à ces fonctionnalités, Cortex AI Observability rend les applications d’IA plus efficaces et fiables pour un usage d’entreprise.

L’avenir des agents d’IA

Les agents d’IA vont au-delà de l’automatisation de base, en gérant dynamiquement des actions et des raisonnements en plusieurs étapes. Il s’agit d’une amélioration significative par rapport aux outils logiciels principalement réactifs actuellement disponibles. À mesure que les LLM progressent, les agents collaboreront, planifieront, exécuteront et affineront leurs tâches, favorisant ainsi leur efficacité et réduisant leurs coûts. Les agents ont le potentiel de réduire de plusieurs ordres de grandeur les dépenses en logiciels et en main-d’œuvre.

Cortex Agents, à l’aide de Cortex Analyst, Cortex Search, les modèles Claude d’Anthropic et AI Observability, apporte de l’intelligence en plus d’un framework de gouvernance unifié et d’un moteur de traitement efficace pour les données structurées et non structurées.  Grâce à ces blocs élémentaires, les développeurs peuvent créer et déployer des agents de données qui peuvent être intégrés à l’application de leur choix à l’aide de l’interface de l’API REST. En outre, les entreprises peuvent exploiter les solutions créées par nos partenaires Sema4.ai et Seek AI.

En savoir plus

• Essayer Cortex Agents : créez votre premier Cortex Agent.
• Regarder la démo : découvrez Cortex Agents en action.
• Lire la suite : découvrez comment Cortex Agents améliore l’accès aux données.