Semplificare l’analisi multimodale dei dati con Snowflake Cortex AI

Ora Snowflake Cortex AI offre funzionalità AI multimodali native, eliminando i silos di dati e la necessità di strumenti separati e costosi. Scopri Cortex AI COMPLETE Multimodal, ora in public preview. Questo importante miglioramento consente di analizzare immagini e altri dati non strutturati direttamente nel motore di query di Snowflake, utilizzando il familiare SQL su vasta scala. Unifica i dati strutturati e non strutturati in modo più efficiente e con meno complessità. È importante notare che funziona senza problemi su dati Snowflake, tabelle Iceberg e object storage come Amazon S3, il tutto senza spostare i dati. Sfrutta la sicurezza e la governance integrate di Snowflake per generare insight più approfonditi e affidabili su tutti i tipi di dati aziendali.

Colmare il gap dei dati

Nel panorama data-driven odierno, è possibile ottenere un vantaggio competitivo significativo combinando senza sforzo insight provenienti da fonti non strutturate come testo, immagini, audio e video con dati strutturati. Con Cortex AI COMPLETE Multimodal, questi task complessi diventano semplici, utilizzando solo poche righe di SQL e riducendo il costo dell’analisi dei dati. Ad esempio, si possono migliorare i modelli predittivi includendo testo e immagini, correlare l’imaging medico ai risultati dei trattamenti o identificare difetti di produzione dalle foto delle linee di produzione.

Elaborare tutti i dati senza spostarli

Ambienti dati frammentati e architetture cloud complesse ostacolano l’efficienza e l’innovazione. Cortex AI COMPLETE Multimodal, ora in public preview, offre alle aziende la soluzione per elaborare direttamente i file di immagine all’interno di un’unica piattaforma unificata sicura, semplificando la gestione e la scalabilità. La piattaforma gestita di Cortex AI raccoglie automaticamente in batch e fornisce un throughput elevato per i dati non strutturati archiviati in un provider di oggetti cloud esterno come un bucket Amazon S3 o in Snowflake, eliminando la necessità di investire nella creazione di soluzioni che orchestrano i processi tra i diversi servizi cloud. Questo accelera gli insight visivi sui dati e la loro integrazione con i dati strutturati, migliorando la velocità e l’agilità dei data worker tecnici. Questa architettura semplificata riduce la complessità, accelera il time-to-insight e il TCO.

Fig. 1: Multimodal analysis architecture comparison

Analisi multimodale per vedere il quadro completo

I data scientist spesso utilizzano modelli predittivi basati su dati strutturati. Tuttavia, affidandosi solo ai dati strutturati per questi modelli si rischia di ignorare i segnali preziosi presenti in fonti non strutturate come le immagini, che influenzano l’engagement degli utenti. Invece di mantenere sistemi separati per l’elaborazione dei dati strutturati e delle immagini, ora data scientist e data analyst possono lavorare all’interno del familiare ambiente Snowflake, utilizzando semplici SQL per esplorare le correlazioni tra le metriche tradizionali e l’intelligenza visiva.

Ecco come gli analisti possono utilizzare SQL per analizzare gli elementi visivi nelle immagini pubblicitarie e scoprire schemi nascosti nella performance delle campagne. Estraendo le caratteristiche visive, i tuoi team tecnici possono scoprire le relazioni con l’engagement sui social media e i tassi di conversione degli utenti.

SELECT 

c.ad_id, 
c.conversion_rate,
snowflake.cortex.complete('claude-3-5-sonnet','Classify the prominent color visible in this image. Respond with the name of the color and nothing else', adimages) as prominent_color ,

snowflake.cortex.complete('claude-3-5-sonnet','Are there human faces identified in the Image? Respond only with TRUE or FALSE and nothing else', adimages) as human_face_flag

FROM campaign_table c join image_table i on c.ad_id i.ad_id

È qui che l’analisi multimodale esprime il suo vero potenziale combinando i tradizionali dati strutturati con questi ricchi insight visivi, creando una comprensione aziendale più completa. Altri esempi sono i retailer che integrano i metadati delle foto dei prodotti con la cronologia delle transazioni per ottenere insight più approfonditi su come le immagini influenzano le decisioni di acquisto. Che si tratti di retail, produzione industriale, healthcare o finanza, puoi sfruttare queste capacità per ottenere insight più approfonditi e creare customer experience più significative che favoriscono la crescita aziendale.

Trasformare qualsiasi settore con l’analisi multimodale basata sull’AI

L’enorme quantità di data asset non strutturati all’interno dell’organizzazione nasconde un valore di business non sfruttato. Cortex AI Functions sblocca questo valore attraverso semplice SQL che combina analisi di dati strutturati e non strutturati.

Per ottimizzare le campagne di marketing: I team marketing utilizzano Cortex AI per trasformare i risultati delle campagne collegando direttamente gli elementi visivi negli asset promozionali alle metriche di conversione. Ad esempio, un’azienda retail che utilizza Snowflake può analizzare migliaia di immagini pubblicitarie per scoprire che le immagini dei prodotti con determinate combinazioni di colori tendono a generare un maggiore engagement tra segmenti demografici specifici.
Per semplificare i processi manuali: I retailer online e le piattaforme di food delivery utilizzano Cortex AI per automatizzare le descrizioni delle immagini di pasti e prodotti alimentari, riducendo il lavoro manuale. Nel settore manifatturiero, gli stabilimenti sono in grado di prevenire costosi difetti collegando i dati di controllo visivo alle specifiche di produzione. Le strutture sanitarie possono migliorare i risultati per i pazienti correlando i metadati di imaging con i protocolli di trattamento e i dati demografici.

Per migliorare il servizio clienti: I dipartimenti del servizio clienti utilizzano modelli speech-to-text per trascrivere le chiamate e ottenere insight più approfonditi. Ad esempio, le funzionalità di Cortex possono essere utilizzate non solo per estrarre i dati dei clienti e le interazioni degli agenti, ma anche per riepilogare le fasi successive, gli intenti e il sentiment, fornendo così un quadro più completo della customer experience.

Per analizzare documenti complessi: Cortex AI consente alle società finanziarie di analizzare report trimestrali, prospetti e rendiconti finanziari estraendo dati strutturati da testo, tabelle e descrizioni di grafici. Ad esempio, una banca globale può accelerare il processo di richiesta di prestito estraendo e convalidando le informazioni chiave da dichiarazioni dei redditi, estratti conto e documenti di verifica dell’occupazione, il tutto in un ambiente sicuro e affidabile.

Risultati di alta qualità

La qualità è fondamentale quando le decisioni aziendali dipendono dagli analytics. Cortex AI offre una qualità eccezionale per un’ampia gamma di attività di elaborazione dei dati non strutturati attraverso modelli e funzioni specializzate su misura per le diverse attività.

I migliori modelli di visione: Cortex AI fornisce accesso immediato e sicuro a modelli di visione leader del settore, consentendoti di selezionare il modello più adatto alle tue esigenze aziendali specifiche. Utilizzando la funzione Cortex AI COMPLETE, puoi scegliere tra Anthropic Claude 3.5 Sonnet, Mistral AI Pixtral Large e prossimamente Anthropic Claude 3.7 Sonnet, Meta Llama 4 Scout e Open AI GPT-4.1 per un’analisi visiva completa.

Fig. 2: Multimodal queries using SQL

Claude 3.5 Sonnet eccelle nella comprensione dei documenti con un impressionante 90,3% sul benchmark DocVQA, il che lo rende una scelta ottimale per estrarre informazioni da rendiconti finanziari, contratti legali e documentazione di conformità. Pixtral Large si distingue per l’eccezionale analisi dei grafici (88,1% ChartQA) e il ragionamento matematico (69,4% Mathvista), perfetti per i report finanziari e le misurazioni delle specifiche di produzione. GPT‐4.1 (presto disponibile) offre benchmark di comprensione delle immagini leader del settore come MMMU (74,8%) per diverse esigenze aziendali, come la risposta visiva alle domande riferite a diagrammi e mappe. Tutti questi modelli operano direttamente all’interno dell’ambiente Snowflake, senza richiedere complesse integrazioni esterne.

Trascrizione audio flessibile: Oltre alle funzionalità multimodali native di Cortex AI, i clienti hanno la possibilità di portare qualsiasi modalità, inclusa l’elaborazione audio, su Snowflake utilizzando Snowpark Container Services. Snowpark Container Services offre un’infrastruttura gestita per le applicazioni containerizzate che consente agli sviluppatori di distribuire modelli di trascrizione audio su vasta scala.

Snowpark Container Services ti consente di distribuire e ottimizzare modelli come OpenAI Whisper, Nvidia Canary o Nvidia Parakeet su Snowflake in base alle tue esigenze specifiche. I clienti spesso scelgono il proprio modello preferito in base al tasso di errore, ma anche in base a singole funzionalità come il supporto multilingue, le prestazioni in ambienti difficili come i call center o l’efficienza delle risorse. L’ambiente sicuro ed efficiente di Snowflake ti consente di eseguire il tuo modello preferito, offrendo una grande combinazione di flessibilità, potenza e fiducia.

Analisi del sentiment delle entità all’avanguardia: Al di là dell’elaborazione audio, Cortex AI offre sofisticate funzionalità di analisi del testo per ricavare insight da diverse fonti testuali. Sia che si tratti di analizzare le trascrizioni delle conversazioni con i clienti, post di social media, recensioni di prodotti o altri dati di testo, la nostra analisi del sentiment delle entità all’avanguardia offre una comprensione dettagliata delle opinioni.

L’analisi del sentiment basata sull’aspetto di Snowflake stabilisce un nuovo standard di qualità nel settore, fornendo una classificazione del sentiment superiore rispetto ai principali large language model basati sul benchmark elencato di seguito. Nello specifico, Cortex AI Entity_Sentiment consente di estrarre sfumature di insight dal testo analizzando il sentiment verso entità specifiche, invece di basarsi solo sulla classificazione complessiva positiva o negativa. Cortex AI Entity Sentiment è fino al 45% più economico rispetto a un modello di grandi dimensioni come GPT-4o e offre un’accuratezza del sentiment notevolmente maggiore. Entity_Sentiment gestisce in modo efficace espressioni di sentiment complesse, tra cui sentimenti misti e sconosciuti, facilitando l’analisi delle emozioni relative nelle recensioni dei prodotti o nelle trascrizioni delle chiamate.

Fig. 3: Comparison of model accuracy on the task of aspect-based sentiment analysis (ABSA) across a combined evaluation set. The benchmark includes datasets from SemEval-2014 Task 4 (laptops and restaurants), MAMS, SENTFIN, and FABSA. The task involves identifying sentiment polarity toward specific aspects or entities mentioned in a sentence. We compare the performance of Mistral-large, Claude 3.5 Sonnet, GPT-4, and Snowflake’s model Cortex AI Entity Sentiment.

Elaborazione avanzata dei documenti con OCR: Oltre ad analizzare testo da fonti digitali, le organizzazioni devono anche estrarre informazioni preziose racchiuse in documenti di vari formati. Le funzionalità di elaborazione dei documenti di Cortex AI convertono i documenti non strutturati in dati ricercabili e analizzabili. Fondamentale per l’accuratezza dei sistemi di ricerca e l’analisi multimodale dei dati, l’estrazione affidabile del testo è alla base di un’accurata elaborazione dei documenti.

Le funzionalità OCR PARSE_DOCUMENT di Cortex AI superano le più diffuse soluzioni commerciali e open source per i documenti aziendali, senza introdurre complessità inutili. La soluzione Snowflake consente ai clienti di integrare facilmente nelle applicazioni i risultati OCR, ad esempio la risposta basata su LLM alle domande sui documenti finanziari, ottenendo una metrica ANLS di 0,974 rispetto a 0,969 delle soluzioni concorrenti.

Migliore traduzione automatica: Per tutto il testo digitale e il testo estratto dai documenti, le organizzazioni spesso hanno bisogno di rendere le informazioni accessibili in più lingue. Cortex AI Translate fornisce traduzioni coerenti e di alta qualità in 14 lingue. A differenza dei LLM generici, che possono introdurre commenti o rifiutare richieste di traduzione, Cortex AI Translate è specificamente ottimizzato per le attività di traduzione attraverso un rigoroso processo di preparazione dei dati e l’addestramento di modelli personalizzati. Le prestazioni sono allineate ai più diffusi sistemi commerciali e LLM all’avanguardia come GPT-4o sui benchmark del settore. Allo stesso tempo, Cortex AI Translate è fino al 51% più conveniente rispetto a un modello di grandi dimensioni come GPT-4o, o fino al 70% più conveniente rispetto all’utilizzo di un diffuso sistema commerciale. Inoltre, Cortex AI Translate gestisce con coerenza testi rumorosi, code-mixing e contesto esteso.

Fig. 5: chrF (character-lefel-F-score) is a metric used to evaluate machine translation quality that operates at the character level rather than the word level. BLEU compares how closely machine translations match human references by counting matching word sequences.

Il futuro dell’analisi unificata dei dati

Snowflake Cortex AI migliora il modo in cui le aziende estraggono valore da tutti i dati. Integra in modo nativo analisi strutturate e non strutturate tramite Cortex AI COMPLETE Multimodal, il tutto all’interno di Snowflake utilizzando SQL. Questo riduce la complessità e accelera il time-to-insight. Con l’AI nativa e la governance affidabile, le aziende ottengono una comprensione più ampia e completa di tutti i loro dati. Questo approccio unificato produce decisioni più rapide e di maggiore impatto. Il team AI Research di Snowflake semplifica il valore dell’AI per le aziende con innovazioni come Cortex AI COMPLETE Multimodal e potenti funzioni Task-Specific ottimizzate per una qualità leader del settore.

Scopri Snowflake Cortex AI COMPLETE Multimodal oggi stesso.

Inizia

Elabora i dati non strutturati con il quickstart sull’analisi multimodale.
Inizia ad analizzare i dati dei call center con il nostro semplice quickstart Snowflake.
Consulta la nostra documentazione per saperne di più.

Affermazioni riferite al futuro
Questo articolo contiene delle affermazioni riferite al futuro, tra cui offerte future di prodotti, che però non rappresentano un impegno a fornire alcuna offerta di prodotti. Le offerte e i risultati effettivi potrebbero essere diversi ed essere soggetti a incertezze e rischi noti e non noti. Fai riferimento al nostro più recente modulo 10‑Q per ulteriori informazioni.