データサイエンス＆機械学習

FEB 13, 2025|約10分で読めます

エンタープライズデータに必要なのはエージェント

Digital illustration of bar chart in rising heights

AIエージェントは、AIを使用してタスクを実行する自律システムです。複雑なマルチステップの操作を数分で処理することによって、ビジネスの生産性を改善します。エージェントが有効性と信頼性を維持するためには、組織の増え続ける構造化データと非構造化データにアクセスする必要があります。データの接続が拡大するにつれ、厳格なプライバシープロトコルを維持しながら、アクセス制御を管理し、正確な情報を効率的に取得することはますます複雑になります。

エージェント出力の品質とは、つまり、基盤となるデータの品質とその取得システムの精度にほかなりません。しかし、組織はAIとデータのミスマッチが原因で、実稼働環境への道筋をつけるのに苦労しています。LLMは非構造化データには優れていますが、多くの組織ではこの種のデータの準備方法の成熟度が不足しています。一方、構造化データは適切に管理されていますが、LLMに行と列を理解させるには課題が残っています。

Luminateでは、生成的なAIアプリケーションを通じて、データに基づいた精度の高いインサイトを顧客に提供する方法を変革しています。SnowflakeのデータとAIの統合プラットフォームにより、開発チームは構造化データと非構造化データの両方に対応するスケーラブルな処理と検索が可能になり、当社のアプリケーションを駆動するデータエージェントの開発、展開、オーケストレーションに不可欠なビルディングブロックを得られました。Snowflake Cortex AIを使用することで、高度なAIを当社のデータと同じセキュリティとガバナンスの境界内で扱えるようになり、開発時間が大幅に短縮しています」

Glenn Walker

Chief Data Officer, Luminate Data

Snowflakeのお客様には、すぐに使用でき、構造化データと非構造化データの両方を高精度で高精度での処理と取得を可能にする、統合プラットフォームがあります。取り込みからアプリケーションまで、エンドツーエンドの統合ガバナンスにより、チームはまったく新たなデータエージェントを実現できます。お客様は、アクセスとプライバシーを制御しながら、スケーラブルなソリューションを構築できます。

データエージェントの必要性

Snowflakeでは、企業のワークフォースにとって、AIエージェントがまもなく不可欠になると考えています。こうしたエージェントは、顧客サポート、フィールド技術者、アナリティクス、エンジニアリングなどのさまざまなチームの生産性を強化し、従業員の貴重な時間をビジネスにとってより価値の高い課題に割り当てられるようにします。AIエージェントの特殊カテゴリーであるデータエージェントは、データとツールを組み合わせ、検索に適したデータソースとツールを効果的に選択することで、より正確で根拠のあるインサイトを提供します。

AIエージェントが大規模に機能するためには、チームの既存の制御と同様に、エンタープライズデータへのセキュアな接続と、アクセスを管理するための統合ガバナンスが必要です。信頼性の高い高価値の結果を得られるよう、データポリシーに従い、複数のソースに効率的にアクセスし、正確な情報を取得する必要があります。

しかし、私たちは、このエージェントによる未来には、その可能性に比例した課題があることを理解しています。モデル品質が向上し、推論コストが削減される一方で、信頼性の高いエージェントシステムを大規模に展開しようとする企業には、次のような課題があります。

精度：品質の面において、エンタープライズアプリのエージェント出力のハードルは高いものとなっています。特に、財務やエンジニアリングなどのビジネスクリティカルな部門ではエラーの許容限度は低くなっています。
信頼とセキュリティ：お客様がよりデータ集約的なAIアプリケーションを構築するにつれ、セキュリティとガバナンスのポリシーを満たすことがますます困難になっています。
セキュリティとガバナンスが確保されたデータアクセス：エージェントは、ビジネスコンテキストに対して信頼できる操作を行えるように、非構造化（例：テキスト、音声）データソースと構造化（例：テーブル、ビュー）データソースの両方を含む、さまざまなデータソースにアクセスする必要があります。しかし、これらのデータソースは、多くの場合、複数のシステムに分散しています。

データを活用するエージェント型ワークフローを拡張するカギは、精度、信頼性、コンプライアンスを維持しながら、モデルとデータをシームレスにやり取りすることです。たとえば、財務アナリストは、収益データ（構造化）と財務レポートおよび市場調査（非構造化）を組み合わせる必要があります。このような企業のユースケースには、データへのセキュアなアクセスと、エンドツーエンドのガバナンスによって適切な情報をAIが利用できるようにする方法が必要です。

この問題を解決するために、Snowflakeは構造化データと非構造化データの統合、検索、処理を簡素化するフルマネージドサービス、Cortex Agentsをローンチします。これにより、Snowflakeのお客様は高品質のエージェントを大規模に構築できるようになります。

Cortex Agent：企業にAIを届ける

現在パブリックプレビュー中であるCortex Agentは、Snowflakeテーブルやオブジェクトストレージに保存されているPDFファイルなど、構造化データソースと非構造化データソースをまたいでオーケストレーションを行い、インサイトを提供します。Cortex Search、Cortex Analyst、LLMを使用して、複雑なクエリを分解し、関連データを取り出し、正確な回答を生成します。これにより、あらゆる段階で正確性、効率性、ガバナンスが確保されます。

Cortex Agentとは？

Cortex Agentは、タスクを計画し、ツールを使用して実行し、結果を反映させて応答を改善します。便利なREST APIとして利用でき、あらゆるアプリケーションにシームレスに統合できます。LLMとともにツールとしてCortex Analyst（構造化SQL）とCortex Search（非構造化データ）を使用して分析を行い、回答を生成します。このエージェントのワークフローは、以下の4つの重要な要素で構成されています。

1.計画：多くの場合、アプリケーションは構造化ソースと非構造化ソースからのデータ処理を切り替えます。たとえば、ユーザーのクエリに答えるように設計された会話アプリを考えてみましょう。ビジネスユーザーは、まず収益（構造化データ）の上位ディストリビューターを探し、切り替えてから、契約（非構造化データ）について問い合わせます。Cortex Agentは、リクエストを解析して計画をオーケストレーションし、応答を得ることができます。

オプションの探索：ユーザーが曖昧な質問（例：「Acmeサプライについて教えてください」）をした場合、Cortex Agentは、曖昧さを解消し精度を高めるために、製品、ロケーション、販売員など、さまざまな組み合わせを検討します。
サブタスクへの分割：Cortex Agentは、1つのタスクまたはリクエスト（例：「Acme SuppliesとAcme Stationeryの契約条件の違いは何ですか？」）を複数のパートに分割して、より正確な応答を行うことができます。
ツール横断のルーティング：Cortex Agentは、ツール（Cortex Analyst、Cortex Search、または自然言語からのSQL生成）を選択して、ガバナンスの確保されたアクセスを促進し、エンタープライズポリシーを遵守できるようにします。

2.ツールの使用：計画の策定後、Cortex Agentは効率的にデータを取得できるようになります。Cortex Searchは非構造化ソースからインサイトを抽出し、Cortex AnalystはSQLを生成して構造化データを処理します。ツールの特定と実行の包括的なサポートにより、エンタープライズデータに基づいた高度なアプリケーションの提供が可能になります。

3.反映：各ツールの使用後、Cortex Agentは結果を評価して次のステップを決定します。つまり、明確化、イテレーション、または最終的な応答の生成を求めます。このオーケストレーションにより、Snowflakeのセキュアな境界内で、複雑なデータクエリを処理しつつ、精度を高め、コンプライアンス管理を継続できます。

4.モニタリングとイテレーション：展開後、お客様はメトリクスの追跡、パフォーマンスの分析、行動の改良によって、継続的に改善できます。クライアントアプリケーションの開発者は、TruLensを使用して、Cortex Agentのインタラクションをモニタリングできます。ガバナンス制御を継続的にモニタリングして改良することで、企業はセキュリティとコンプライアンスを維持しながら、AIエージェントを確実にスケーリングできます。

Cortex Agentは、他のSnowflake製品と組み合わせることにより、構造化データと非構造化データの両方を大規模に取得、処理、管理するためのエンドツーエンドのソリューションを提供します。

Snowflakeは、Cortex AgentのパブリックプレビューによりAI機能を拡張し、構造化データセットと非構造化データセットのオーケストレーションによるデータインサイトの取得を支援しています。Cortex Agentsは、SnowflakeのCortex AI検索サービスの機能強化を土台とすることにより、エージェント型アプリケーションのデータアクセスとオーケストレーションを合理化して、より信頼性の高いAIドリブンな意思決定をもたらします。

Cortex Analyst（高品質の構造化データ検索のためのエージェントText to SQLを強化する重要なLLMであるAnthropic Claudeとともに、一般提供開始）
Cortex Searchは、NDCG@10など、さまざまなベンチマークでOpenAIの埋め込みモデルに12%以上の差をつけ、最先端品質の非構造化データの検索精度を達成

Figure 1: Snowflake enables an end-to-end solution for agentic applications

ここからは、Cortex Analystがどのように構造化データ分析を強化するか、そしてさらに、その機能の向上をもたらす最新のイノベーションについて詳しくみていきます。

Cortex Analyst：セマンティック理解によるAI駆動のSQL生成

Cortex Analystは、Cortex Agent内のツールとして使用できます。

パターンマッチングのみに依存する一般的なText to SQLシステムとは異なり、Cortex Analystはセマンティックモデルを使用してビジネス用語を基礎データにマッピングします。この独自のアプローチにより、複雑なマルチテーブル環境を含む実世界のユースケースの精度が向上します。

Cortex Analystの新機能

1.スキーマの複雑化への対応

Cortex Analystにできることは、単なるスタースキーマやSnowflakeスキーマのJOINにとどまりません。新しい高度なJOIN検証により、複雑なクエリで起こりがちなJOINハルシネーションや二重カウントなどの一般的な問題が軽減されます。これにより、Cortex Analystは精度を損なうことなくマルチテーブルクエリをサポートできます。

2.セマンティックモデルの生成とモニタリング

Snowsightの新しいAnalyst Admin UIのパブリックプレビューにより、セマンティックモデルの構築と改良のプロセスが簡略化されました。管理者は、テーブルと列を選択し、LLM（Snowflakeのセキュアな境界内で実行）を使用して、セマンティックモデルの初期YAMLファイルを生成できます。

管理インターフェイスは、ユーザーのエンゲージメントとフィードバックもモニタリングします。これにより、お客様は使用状況を追跡して、セマンティックモデルに対して情報に基づいた経時的な改善を行えます。

3.ビジネス固有のロジックに合わせたカスタマイズ

Custom Instructionの一般提供が開始されたことにより、ユーザーは、セマンティックモデルのファイルで自然言語を使用して、Cortex Analystを独自のビジネスニーズに合わせてカスタマイズできるようになりました。一般的なユースケースには、会計年度の開始日の指定、内部命名規則の説明、SQL生成時のキーテーブルの優先順位付けなどがあります。

4.ベンチマークが実証するパフォーマンス

内部ベンチマークによると、Text to SQLユースケースでは90%の精度を達成しています。AnthropicのClaude 3.5 Sonnetにより、パフォーマンスのさらなる強化と体験の改善が実現しました。Claude上で動作するCortex Analystは、セマンティックモデルに保存された情報を使用することにより、実世界のクエリにおいて他のモデルのパフォーマンスを上回っています。

これらのアップデートにより、Cortex Analystは構造化データ分析を強化し、エージェントアプリケーションのセットアップを簡素化しています。

Cortex Search：非構造化データのための高品質のコンテキストエンジン

Cortex Agentは、Cortex Searchを使用して非構造化データ（例：テキスト、音声、画像、動画）を取得します。Cortex Searchは、ベクトル検索と語彙（キーワード）検索を組み合わせたネイティブなハイブリッド検索です。セマンティックな再ランク付けのステップを追加することで、高品質で低レイテンシーの大規模な検索を実現します。

Cortex Searchは、検索精度（NDCG@10）において競合するエンタープライズ検索スタックのパフォーマンスを上回る最先端の品質を達成しており、さまざまなベンチマークでOpenAIの埋め込みモデルに12%以上の差をつけています。この評価は、公開されている代表的な4つの検索ベンチマークデータセットに対して実施されました。Snowflake Arctic Embed L v2.0を使用したハイブリッド検索であるCortex Searchを、OpenAIのText Embedding 3 Largeを使用したハイブリッド検索とキーワードのみの検索の両方を使用する、クラウドでホストされる競合するLuceneベースの検索サービス（例：Azure AI Search、AWS OpenSearch、ElasticSearch）と比較しました。

Cortex Search benchmark results: Retrieval System Average Performance Across Tasks

Figure 2: Cortex Search benchmark results

Cortex Searchの新機能

1.スケーラビリティとコストパフォーマンスの向上

Cortex Searchは、数億行のインデックス作成をサポートするようになりました。また、インフラストラクチャの最適化により、Cortex Searchの提供コストが30%削減されました。

2.カスタマイズ性の向上

Cortex Searchでは、セマンティック検索にベクトル埋め込みモデルを選択できるようになりました。これには、snowflake-arctic-embed-l-v2.0とvoyage-multilingual-2の2つの多言語モデルが含まれます。さらに、Cortex Searchはメタデータ列に対する日付範囲フィルタリングをサポートしています。

3.新しいプレビュー機能

新しいプレビュー機能には、Cortex Search Admin UI（可観測性と品質チューニング）、数値信号と時間信号のブーストと減衰、結果の信頼スコア、高度なフィルタリング機能が含まれます。

これらの新機能により、Cortex SearchはSnowflakeデータ上に構築された検索アプリケーションやエージェントアプリケーションのためのスケーラブルでカスタマイズ可能な基盤を提供します。

人類学的モデル：Cortex Agentを強化するSOTAモデル

Anthropicの最もインテリジェントなLLMである最新のClaude 3.5 Sonnetは、Snowflake内で実行され、データと同じガバナンスフレームワークを使用して、エンタープライズアプリケーションでの高度な推論、コーディング、複雑なワークフローの実行を実現します。このモデルは、Cortex Analystを強化するものとしてCortex Agentで使用できるようになりました。これにより、ガバナンスを大規模に維持しながら、より正確な検索、高度な構造化データ分析、効率的なエージェントワークフローが可能になります。

Claude 3.5 Sonnetにより、Cortex AgentはAIドリブンなタスクを高精度で計画、オーケストレーション、反映、モニタリングできます。Cortexのエージェント機能は、ツールの使用と構造化された出力のサポートによってさらに向上しました。お客様は、Claude 3.5 Sonnetのマルチモーダル機能を使用して、画像を含む幅広い非構造化データからインサイトを得ることができます。すべてのインタラクションはSnowflakeのセキュアな環境内で実行されるため、ユースケース全体にわたってアクセス制御と統合されたガバナンスが促進されます。

お客様はClaude 3.5をCortex Agentsで使用して、正確かつ効率的でガバナンスの効いたAIを大規模に実現し、生成AIアプリケーションの提供を迅速化できます。

AI Observability：AIエージェントの評価と追跡

AI可観測性は、生成AIアプリケーションに高い信頼性、パフォーマンス、信用をもたらします。適切な評価とモニタリングにより、企業はより正確な結果を取得し、コストを最適化し、ガバナンスのニーズに対応できるようになります。

Cortex AI Observabilityの新機能

Snowflake上のCortex AI ObservabilityはTruLensによって支えられており、まもなくパブリックプレビューで利用可能になります。

1.エンドツーエンドの評価

AI Observabilityは、生成AIによる自動評価（LLM-as-a-judge）などの技術を使用して、エージェントやアプリのパフォーマンスを評価できます。関連性、グラウンデッドネス、有害性などの指標をレポートできるようになるため、お客様はエージェントを迅速にイテレーションして改良することで、パフォーマンスを改善できます。

2.比較

ユーザーは、評価を並行して実行して比較を行い、さまざまなLLM構成の応答の品質と精度を評価し、実稼働展開に最適な構成を特定できます。

3.包括的な追跡

お客様は、入力プロンプト、ツールの使用、最終応答の生成にまたがるエージェント実行のすべてのステップのログを有効にできます。これにより、精度、レイテンシー、コストに関するデバッグと改良を簡単に行えるようになります。

検索サービスが活用できるAI-readyなデータセットを作成するためには、Snowflake内の構造化データと非構造化データの両方の効果的なガバナンスと処理が不可欠です。Snowflakeの非構造化データのサポートには、非構造化データを保存、アクセス、処理、管理、共有する機能が含まれます。Snowflake Connector for SharePointは、アクセス制御を保護するために既存の許可が尊重されていることを確認します。さらに、SnowflakeがDatavoloを買収したことにより、Snowflakeプラットフォームのマルチモーダルデータの統合処理能力が強化され、堅牢なデータガバナンスとデータ処理に対するSnowflakeのコミットメントがさらに強まりました。

これらの機能により、Cortex AI ObservabilityはAIアプリケーションの効率と信用を高め、エンタープライズでの使用を可能にします。

AIエージェントの未来

AIエージェントは、基本的な自動化だけでなく、マルチステップのアクションと推論の動的な処理を実行するようになってきています。これは現在利用可能な、ほとんどが事後対応型であるソフトウェアツールと比較して大幅な改善です。LLMが進歩し続けるにつれて、エージェントはコラボレーション、タスクの計画、実行、改良を行い、それによって効率化とコスト削減が促進されます。エージェントは、ソフトウェアと人件費の両方を桁違いに削減できる可能性があります。

Cortex Agentは、Cortex Analyst、Cortex Search、AnthropicのClaudeモデル、AI Observabilityを使用して、構造化データと非構造化データのための統合されたガバナンスフレームワークと効率的な処理エンジンの上にインテリジェンスをもたらします。開発者はこれらの構成要素を活用することで、REST APIインターフェイスを使用して任意のアプリケーションに統合できるデータエージェントを構築し、展開できます。さらに、組織はSnowflakeパートナーであるSema4.aiとSeek AIによって構築されたソリューションを活用できます。