I tuoi dati aziendali hanno bisogno di un agente

Gli agenti AI, sistemi autonomi che eseguono attività utilizzando l’intelligenza artificiale, possono migliorare la produttività aziendale gestendo operazioni complesse in più fasi in pochi minuti. Gli agenti devono accedere a dati strutturati e non strutturati in costante crescita per essere efficaci e affidabili. Con l’espansione delle connessioni ai dati, la gestione dei controlli di accesso e il recupero efficiente di informazioni accurate, pur mantenendo rigorosi protocolli sulla privacy, diventano sempre più complessi.

Gli output agentici sono importanti tanto quanto la qualità dei dati sottostanti e l’accuratezza dei sistemi di recupero. Tuttavia, le organizzazioni faticano a passare alla produzione a causa di una mancata corrispondenza tra intelligenza artificiale e dati. I LLM eccellono nei dati non strutturati, ma molte organizzazioni non dispongono di procedure di preparazione mature per questo tipo di dati; nel frattempo, i dati strutturati vengono gestiti meglio, ma i LLM hanno ancora difficoltà a comprendere righe e colonne. 

I clienti Snowflake ora dispongono di una piattaforma unificata per l’elaborazione e il recupero di dati sia strutturati che non strutturati con elevata precisione pronta all’uso. La governance unificata end-to-end, dall’ingestion all’applicazione, consente ai team di fornire una nuova ondata di data agent. I clienti possono creare soluzioni scalabili applicando al contempo controlli di accesso e privacy. 

La necessità di data agent

Noi di Snowflake siamo convinti che gli agenti AI diventeranno presto essenziali per la forza lavoro aziendale, migliorando la produttività dei team di assistenza clienti, tecnici sul campo, analytics, engineering e altro ancora. Libereranno tempo prezioso che i dipendenti potranno dedicare alle sfide di maggiore valore che l’azienda dovrà affrontare. I data agent, una categoria specializzata di agenti AI, combinano dati e strumenti per fornire insight più accurati e fondati selezionando in modo efficace le fonti di dati e gli strumenti giusti per il recupero. 

Per lavorare su vasta scala, gli agenti AI hanno bisogno di una connessione sicura con i dati aziendali e di una governance unificata per gestire l’accesso, in modo simile ai controlli esistenti per i tuoi team. Devono seguire criteri per i dati, accedere in modo efficiente a più fonti e recuperare informazioni accurate per fornire risultati affidabili e di alto valore.  

Tuttavia, comprendiamo che le sfide degli agenti futuri saranno proporzionali al loro potenziale. Mentre la qualità dei modelli aumenta e i costi di inferenza diminuiscono, vediamo la stessa serie di sfide tra le aziende che cercano di implementare sistemi agentici affidabili su vasta scala.

• Precisione: in termini di qualità, l’output agentico nelle app aziendali è elevato; il margine di errore è basso, soprattutto nelle funzioni business-critical, come finanza o engineering.

• Fiducia e sicurezza: man mano che i clienti creano applicazioni AI ad alta intensità di dati, è sempre più difficile soddisfare i criteri di sicurezza e governance.

• Accesso ai dati governati: gli agenti hanno bisogno di accedere a un’ampia varietà di fonti di dati per operare in modo affidabile sul contesto aziendale, comprese fonti di dati non strutturati (e.g., testo, audio) e strutturati (e.g., tabelle, viste), spesso distribuiti su più sistemi.

La chiave per scalare flussi di lavoro agentici che attingono ai dati è l’interazione trasparente tra modelli e dati, mantenendo accuratezza, fiducia e conformità. Ad esempio, un analista finanziario potrebbe avere bisogno di combinare i dati sui ricavi (strutturati) con i report finanziari e le ricerche di mercato (non strutturati). Questi casi d’uso aziendali richiedono un accesso sicuro ai dati e un modo per fornire le informazioni giuste all’AI con una governance end-to-end. 

Per risolvere questo problema, siamo lieti di lanciare Cortex Agents, un servizio completamente gestito che semplifica l’integrazione, il recupero e l’elaborazione di dati strutturati e non strutturati, aiutando i clienti Snowflake a creare agenti di alta qualità su vasta scala.

Cortex Agents: portare l’AI nelle aziende

Cortex Agents, ora disponibile in public preview, orchestra tutte le fonti di dati strutturati e non strutturati, che si tratti di tabelle Snowflake o di file PDF archiviati nell’object storage, per fornire insight. Suddividono query complesse, recuperano dati pertinenti e generano risposte precise utilizzando Cortex Search, Cortex Analyst e LLM. Questo garantisce precisione, efficienza e governance in ogni fase. 

Che cos’è Cortex Agents?

Cortex Agents pianifica le attività, utilizza strumenti per eseguirle e riflette sui risultati per migliorare le risposte. Disponibile come comoda API REST, Cortex Agents si integra perfettamente in qualsiasi applicazione. Gli agenti utilizzano Cortex Analyst (SQL strutturato) e Cortex Search (dati non strutturati) come strumenti, insieme ai LLM, per analizzare e generare risposte. Il flusso di lavoro prevede quattro componenti chiave:

1. Pianificazione. Le applicazioni spesso passano dall’elaborazione di dati strutturati a quella di dati non strutturati. Prendiamo ad esempio un’app conversazionale progettata per rispondere alle domande degli utenti. Un utente aziendale può prima chiedere quali sono i distributori migliori in base ai ricavi (dati strutturati) e poi passare a chiedere informazioni su un contratto (documento non strutturato). Cortex Agents può analizzare una richiesta per orchestrare un piano e ottenere una risposta: 

• Esplora le opzioni. Quando l'utente pone una domanda ambigua (e.g., "Parlami di Acme Supplies"), l'agente considera diverse permutazioni (prodotti, posizione o personale di vendita) per disambiguare e migliorare l'accuratezza.
• Suddividi in sottotask. Cortex Agents può suddividere un task o una richiesta (e.g. “Quali sono le differenze tra le condizioni contrattuali di Acme Supplies e di Acme Stationery?”) in più parti per una risposta più precisa.
• Instrada tra strumenti diversi. L’agente seleziona uno strumento (Cortex Analyst, Cortex Search o generazione di SQL dal linguaggio naturale) per facilitare l’accesso governato e consentire la conformità alle policy aziendali.

2. Utilizzo degli strumenti. Con un piano operativo, l’agente può recuperare i dati in modo efficiente. Cortex Search estrae insight da fonti non strutturate, mentre Cortex Analyst genera SQL per elaborare i dati strutturati. Un supporto completo per l’identificazione e l’esecuzione degli strumenti consente di creare sofisticate applicazioni basate sui dati aziendali.

3. Riflessione. Dopo ogni utilizzo dello strumento, l’agente valuta i risultati per determinare le fasi successive, richiedendo chiarimenti, iterando o generando una risposta finale. Questa orchestrazione consente di gestire query sui dati complesse, aumentando al contempo l’accuratezza e mantenendo i controlli di conformità all’interno del perimetro sicuro di Snowflake.

4. Monitoraggio e iterazione. Dopo la distribuzione, i clienti possono monitorare le metriche, analizzare le prestazioni e perfezionare i comportamenti per migliorare continuamente. Sul client gli sviluppatori di applicazioni possono utilizzare TruLens per monitorare l’interazione dell’agente. Monitorando e perfezionando continuamente i controlli di governance, le aziende possono scalare con fiducia gli agenti AI mantenendo la sicurezza e la conformità. 

In combinazione con altre offerte Snowflake, Cortex Agents ora fornisce una soluzione end-to-end per il recupero, l’elaborazione e la governance di dati sia strutturati che non strutturati su vasta scala.  

Snowflake sta espandendo le sue funzionalità AI con la public preview di Cortex Agents, per aiutare a recuperare insight sui dati orchestrando data set strutturati e non strutturati. Cortex Agents semplifica l’accesso e l’orchestrazione dei dati delle applicazioni agentiche per decisioni basate sull’AI più affidabili, integrando i miglioramenti dei nostri servizi di recupero di Cortex AI:

• Cortex Analyst, ora disponibile per tutti i clienti con Anthropic Claude come LLM chiave per abilitare l’agente text-to-SQL per il recupero di dati strutturati di alta qualità

• Cortex Search ha raggiunto un’accuratezza di recupero dei dati non strutturati di qualità all’avanguardia, battendo i modelli di embedding OpenAI di almeno il 12% su una serie diversificata di benchmark, tra cui (NDCG@10) 

Esaminiamo ora in che modo Cortex Analyst migliora l’analisi dei dati strutturati e le ultime innovazioni che migliorano le funzionalità.

Cortex Analyst: generazione di SQL basata su AI con comprensione semantica

Cortex Analyst può essere utilizzato come strumento all’interno di Cortex Agents. 

A differenza dei tipici sistemi text-to-SQL che si basano solo sulla corrispondenza dei modelli, Cortex Analyst utilizza un modello semantico per mappare i termini aziendali ai dati sottostanti. Questo approccio unico migliora la precisione nei casi d’uso reali che comportano ambienti multi-tabella complessi.

Novità di Cortex Analyst

1. Gestione della maggiore complessità dello schema

Cortex Analyst ora va oltre le semplici operazioni di join con schema a stella e schema Snowflake. La nostra nuova convalida JOIN avanzata mitiga i problemi comuni, come le allucinazioni di JOIN e il doppio conteggio, che spesso si verificano in query complesse. In questo modo Cortex Analyst supporta le query multi-tabella senza compromettere la precisione.

2. Generazione e monitoraggio di modelli semantici

La nostra public preview della nuova interfaccia utente Analyst Admin in Snowsight semplifica il processo di creazione e perfezionamento dei modelli semantici. Gli amministratori possono selezionare tabelle e colonne e utilizzare i LLM (eseguiti all’interno del perimetro sicuro di Snowflake) per generare un file YAML di modello semantico di partenza.

L’interfaccia di amministrazione monitora anche il coinvolgimento e il feedback degli utenti. In questo modo i clienti possono monitorare l’utilizzo e apportare miglioramenti informati ai modelli semantici nel tempo.

3. Personalizzazione per logica aziendale specifica

Con le istruzioni personalizzate ora in GA, gli utenti possono adattare Cortex Analyst alle proprie esigenze aziendali specifiche utilizzando il linguaggio naturale nel file del modello semantico. I casi d’uso più comuni includono specificare le date di inizio dell’anno finanziario, spiegare le convenzioni di denominazione interne e assegnare priorità alle tabelle chiave durante la generazione di SQL.

4. Performance comprovate sui benchmark

Sulla base di benchmark interni, abbiamo raggiunto un’accuratezza del 90% per i casi d’uso text-to-SQL. Con Claude 3.5 Sonnet di Anthropic, siamo in grado di migliorare ulteriormente le prestazioni per un’esperienza migliorata. Cortex Analyst, eseguito su Claude, supera gli altri modelli per le query del mondo reale utilizzando le informazioni memorizzate nel modello semantico.

Con questi aggiornamenti, Cortex Analyst migliora l’analisi dei dati strutturati e semplifica la configurazione amministrativa per le applicazioni agentiche.

Cortex Search Motore contestuale di alta qualità per i dati non strutturati

Cortex Agents utilizza Cortex Search per recuperare dati non strutturati come testo, audio, immagini, video. Cortex Search è una ricerca nativa ibrida, una combinazione di ricerca vettoriale e lessicale (per parole chiave), con un ulteriore passaggio di reranking semantico, per fornire recupero di alta qualità e bassa latenza su vasta scala. 

Cortex Search raggiunge una qualità all’avanguardia, superando gli stack di ricerca enterprise concorrenti in termini di accuratezza di recupero (NDCG@10) con modelli di embedding OpenAI di almeno il 12% su una serie diversificata di benchmark. Le valutazioni sono state effettuate su un insieme rappresentativo di quattro data set di riferimento per le ricerche pubbliche. Cortex Search, una ricerca ibrida che utilizza Snowflake Arctic Embed L v2.0, è stato confrontato con un servizio di ricerca basato su Lucene ospitato su cloud (es. Azure AI Search, AWS OpenSearch, ElasticSearch) della concorrenza, utilizzando sia la ricerca ibrida con Text Embedding 3 Large di OpenAI, sia la ricerca per sole parole chiave.

Novità di Cortex Search

1. Scalabilità e convenienza migliorate

Cortex Search ora supporta l’indicizzazione di centinaia di milioni di righe. Inoltre, i costi di servizio per Cortex Search sono stati ridotti del 30% grazie alle ottimizzazioni dell’infrastruttura.

2. Personalizzazione migliorata

Cortex Search ora offre la possibilità di selezionare il modello di vector embedding per la ricerca semantica. Questo include due modelli multilingue, snowflake-arctic-embed-l-v2.0 e voyage-multilingual-2. Inoltre, Cortex Search supporta il filtro dell’intervallo di date sulle colonne di metadati.

3. Nuove funzionalità in preview 

Le nuove funzionalità in preview includono l’interfaccia utente Cortex Search Admin (per l’osservabilità e il tuning della qualità), il potenziamento e il decadimento dei segnali numerici e temporali, i punteggi di fiducia sui risultati e funzionalità di filtro avanzate.

Con queste nuove funzionalità, Cortex Search offre una base scalabile e personalizzabile per la ricerca e le applicazioni agentiche basate sui dati Snowflake.

Modelli Anthropic: i modelli SOTA alla base di Cortex Agents

Il LLM più intelligente di Antropic, Claude 3.5 Sonnet aggiornato, viene eseguito all’interno di Snowflake per portare ragionamento avanzato, programmazione ed esecuzione di flussi di lavoro complessi nelle applicazioni aziendali utilizzando lo stesso framework di governance dei dati. Questo modello ora potenzia Cortex Analyst e può essere utilizzato in Cortex Agents, ottenendo un recupero più accurato, analisi avanzate dei dati strutturati ed efficienti flussi di lavoro agentici, il tutto mantenendo la governance su vasta scala.

Con Claude 3.5 Sonnet, Cortex Agents può pianificare, orchestrare, riflettere e monitorare attività basate sull’AI con maggiore precisione. Le funzionalità agentiche di Cortex sono migliorate grazie al supporto per l’uso di strumenti e output strutturati. I clienti possono utilizzare la funzionalità multimodale di Claude 3.5 Sonet per ottenere insight da un più ampio set di dati non strutturati, comprese le immagini. Tutte le interazioni avvengono all’interno dell’ambiente sicuro di Snowflake, facilitando l’accesso controllato e la governance unificata per tutti i casi d’uso. 

I clienti possono utilizzare Claude 3.5 in Cortex Agents per fornire un’intelligenza artificiale accurata, efficiente e governata su vasta scala e accelerare la distribuzione di applicazioni di AI generativa.

Osservabilità dell’AI: valutazione e tracciamento degli agenti AI

L’osservabilità dell’AI aggiunge affidabilità, prestazioni e fiducia alle applicazioni di AI generativa. Con valutazioni e monitoraggio adeguati, le aziende possono ottenere risultati più accurati, ottimizzare i costi e soddisfare le proprie esigenze di governance.

Novità di Cortex AI Observability 

Cortex AI Observability su Snowflake è basato su TruLens e sarà presto disponibile in public preview.

1. Valutazione end-to-end

AI Observability è in grado di valutare le prestazioni di agenti e app, utilizzando tecniche come LLM-as-a-juudge. Può segnalare metriche come pertinenza, fondatezza e nocività, offrendo ai clienti la possibilità di iterare e perfezionare rapidamente l’agente per migliorare le prestazioni. 

2. Confronto

Gli utenti possono confrontare le valutazioni eseguite parallelamente e valutare la qualità e l’accuratezza delle risposte nelle diverse configurazioni LLM per identificare la configurazione migliore per le distribuzioni in produzione.

3. Tracciabilità completa

I clienti possono abilitare la registrazione per ogni fase dell’esecuzione degli agenti tra prompt di input, utilizzo degli strumenti e generazione della risposta finale. Questo consente un facile debug e perfezionamento per accuratezza, latenza e costi. 

Una governance e un’elaborazione efficaci dei dati sia strutturati che non strutturati all’interno di Snowflake sono fondamentali per creare data set pronti per l’AI che i servizi di recupero possano utilizzare. Il supporto di Snowflake per i dati non strutturati include la possibilità di archiviare, accedere, elaborare, gestire, governare e condividere tali dati. Snowflake Connector for SharePoint verifica il rispetto delle autorizzazioni esistenti per proteggere i controlli di accesso. Inoltre, l’acquisizione di Datavolo da parte di Snowflake migliora la capacità della piattaforma di gestire l’integrazione dei dati multimodale, rafforzando il suo impegno per una solida governance ed elaborazione dei dati.

Con queste funzionalità, Cortex AI Observability rende le applicazioni AI più efficienti e affidabili per l’uso aziendale.

Il futuro degli agenti AI

Gli agenti AI stanno andando oltre l’automazione di base, gestendo dinamicamente azioni e ragionamenti in più fasi. Si tratta di un notevole miglioramento rispetto agli strumenti software per lo più reattivi oggi disponibili. Man mano che i LLM avanzano, gli agenti collaboreranno, pianificheranno, eseguiranno e perfezioneranno le attività, aumentando l’efficienza e riducendo i costi. Gli agenti sono potenzialmente in grado di ridurre sia il software che le spese di manodopera di ordini di grandezza.

Cortex Agents, utilizzando Cortex Analyst, Cortex Search, i modelli Claude di Anthropic e l’osservabilità dell’AI, aggiunge intelligence a un framework di governance unificato e a un motore di elaborazione efficiente per i dati sia strutturati che non strutturati.  Utilizzando questi componenti di base, gli sviluppatori possono creare e distribuire data agent che possono essere integrati nell’applicazione desiderata utilizzando l’interfaccia API REST. Inoltre, le organizzazioni possono sfruttare le soluzioni create dai nostri partner Sema4.ai e Seek AI.

Scopri di più

• Prova Cortex Agents. Crea il tuo primo Cortex Agent.
• Guarda la demo. Guarda Cortex Agents in azione.
• Scopri di più. Come Cortex Agents migliora l’accesso ai dati.