엔터프라이즈 데이터 에이전트의 필요성

AI 에이전트는 AI를 사용하여 태스크를 수행하는 자율 시스템으로, 복잡한 멀티 단계 작업을 몇 분 만에 처리하여 비즈니스 생산성을 향상시킬 수 있습니다. 에이전트가 효과적이고 신뢰할 수 있으려면 날로 늘어나는 조직 내 정형 및 비정형 데이터에 대한 액세스가 필요합니다. 데이터 연결이 확장됨에 따라 액세스 제어를 관리하고 정확한 정보를 효율적으로 검색하는 동시에 엄격한 개인정보 보호 프로토콜을 유지하는 작업은 점점 더 복잡해지고 있습니다.

에이전틱 결과는 기초 데이터의 품질과 이를 기반으로 하는 검색 시스템의 정확도에 비례합니다. 그러나 조직들은 AI와 데이터 간 불일치로 인해 프로덕션에 이르는 경로를 마련하는 데 어려움을 겪고 있는 실정입니다. LLM은 비정형 데이터에는 탁월한 성능을 보이지만, 대다수 조직들은 이러한 유형의 데이터에 대한 성숙한 준비 관행이 부족합니다. 반면 정형 데이터는 상대적으로 더 잘 관리되지만, LLM이 행과 열을 이해하도록 만드는 데 아직 어려움을 겪고 있습니다. 

Snowflake 고객은 이제 정형 데이터와 비정형 데이터 모두 즉시 처리 및 검색할 수 있고 정확도가 매우 높은 통합 플랫폼을 갖추고 있습니다. 수집에서 적용까지 전 단계를 아우르는 엔드투엔드 통합 거버넌스를 통해 팀들은 새로운 데이터 에이전트를 제공할 수 있습니다. 고객은 확장 가능한 솔루션을 구축하는 동시에 액세스 및 개인정보 보호 조치를 시행할 수 있습니다. 

데이터 에이전트에 대한 요구

Snowflake는 AI 에이전트가 곧 엔터프라이즈 인력에 필수적인 요소가 되어 고객 지원, 현장 기술자, 분석, 엔지니어링 등 여러 팀의 생산성을 향상할 것이라고 믿고 있습니다. AI 에이전트는 비즈니스가 직면하는 고가치 과제에 직원들이 집중할 수 있도록 귀중한 시간을 확보해줄 것입니다. AI 에이전트의 전문 카테고리인 데이터 에이전트는 데이터 도구를 결합하여 검색을 위한 올바른 데이터 소스와 도구를 효과적으로 선택하여 더 정확하고 기본화된 인사이트를 제공합니다. 

AI 에이전트가 규모에 맞게 작업을 수행하려면 조직 내 팀을 통제하는 기존의 제어 기능과 마찬가지로, 엔터프라이즈 데이터와 안전하게 연결되고 액세스를 관리할 수 있는 통합 거버넌스가 필요합니다. AI 에이전트는 데이터 정책을 준수하고 여러 소스에 효율적으로 액세스하며 신뢰할 수 있는 고품질의 결과를 제공하기 위해 정확한 정보를 검색해야 합니다.  

하지만 이러한 에이전틱한 미래에는 그 잠재력에 비례하는 과제가 수반된다는 사실을 우리는 잘 알고 있습니다. 모델 품질이 향상되고 추론 비용이 감소하고 있지만, 신뢰할 수 있는 에이전틱 시스템을 대규모로 배포하려는 기업들 사이에서 시스템을 배포하려는 기업들 사이에서 동일한 과제들이 발생하고 있습니다.

• 정확성: 품질 측면에서, 엔터프라이즈 앱의 에이전틱 결과물에 대한 기준치는 매우 높으며, 특히 재무나 엔지니어링과 같은 비즈니스 크리티컬한 부서에서는 오류 허용 범위가 작습니다.

• 신뢰 및 보안: 고객들이 점점 더 데이터 집약적인 AI 애플리케이션을 구축함에 따라, 보안 및 거버넌스 정책을 총족하기가 점차 어려워지고 있습니다.

• 거버넌스가 적용된 데이터 액세스: 에이전트는 비즈니스 컨텍스트에서 신뢰할 수 있게 작동하기 위해 다양한 데이터 소스에 액세스 할 수 있어야 하며 이러한 데이터 소스에는 많은 경우 여러 시스템에 분산되어 있는 비정형(e.g., 텍스트, 오디오) 데이터 소스와 정형(e.g., 테이블, 뷰) 데이터 소스가 포함됩니다.

데이터를 활용하는 에이전틱 워크플로우의 규모를 확장하는 데 있어 핵심은 정확성, 신뢰성, 규정 준수를 유지하면서 모델과 데이터 간의 원활한 인터랙션을 지속하는 것입니다. 예를 들어, 재무 분석가는 수익 데이터(정형)를 재무 보고서 및 시장 조사(비정형) 데이터와 결합해야 하는 경우가 있습니다. 이러한 엔터프라이즈 사용 사례에는 데이터에 대한 안전한 액세스와 엔드투엔드 거버넌스를 통해 적절한 정보를 AI에 제공할 수 있는 방법이 필요합니다. 

이 문제를 해결하기 위해 Snowflake는 정형 및 비정형 데이터의 통합, 검색 및 처리를 단순화하는 완전 관리형 서비스인 Cortex Agents를 출시하여 Snowflake 고객들이 대규모로 고품질의 에이전트를 구축할 수 있도록 지원합니다.

Cortex Agents: 엔터프라이즈의 AI 도입

이제 공개 프리뷰(PuPr)로 제공되는 Cortex Agents는 정형 및 비정형 데이터 소스(Snowflake 테이블 또는 오브젝트 스토리지에 저장된 PDF 파일 등)전반에 걸쳐 오케스트레이션을 실행하여 인사이트를 제공합니다. Cortex Agents는 Cortex Search, Cortex Analyst 그리고 LLM을 사용하여 복잡한 쿼리를 분석하고, 관련 데이터를 검색하고, 정확한 답변을 생성합니다. 이러한 과정은 각 단계에서 정확성, 효율성 및 거버넌스 실현을 가능하게 합니다. 

Cortex Agents란?

Cortex Agents는 태스크를 계획하고, 도구를 사용하여 이를 실행하며, 결과를 반영하여 응답을 개선합니다. REST API로 제공되는 Cortex Agents는 모든 애플리케이션을 원활하게 통합할 수 있습니다. 또한 LLM과 함께 Cortex Analyst(정형 SQL) 및 Cortex Search(비정형 데이터)를 도구로 사용하여 답변을 분석하고 생성합니다. 이 워크플로우는 4가지 핵심 구성 요소로 이루어집니다.

1. 계획: 애플리케이션은 많은 경우, 정형 및 비정형 소스를 오가며 데이터를 처리합니다. 예를 들어 사용자 쿼리에 답하는 대화형 앱을 생각해 봅시다. 비즈니스 사용자는 먼저 매출 기준 상위 유통업체(정형 데이터)를 요청한 다음, 계약(비정형 데이터)에 대해 묻는 요청으로 전환할 수 있습니다. Cortex Agents는 요청을 오케스트레이션하여 계획을 세우고 응답을 도출할 수 있습니다.  

• 옵션 탐색: 사용자가 모호한 질문(e.g., "Accme Supplies에 대해 알려주세요.")을 던질 때, 에이전트는 제품, 위치 또는 영업 담당자 등 다양한 가능성을 고려하여 정확도를 높입니다.
• 하위 태스크로 분할: Cortex Agents는 더 정확한 응답을 위해 태스크 또는 요청(e.g. "Acme Supplies의 계약 약관과 Acme 편지기 사이의 차이점은 무엇입니까?")을 여러 부분으로 분할할 수 있습니다.
• 도구 선택: 에이전트는 Cortex Analyst, Cortex Search 또는 자연어에서 SQL 생성 등 도구를 선택하여 거버넌스가 적용된 관리형 액세스를 용이하게 하고 엔터프라이즈 정책에 대한 준수를 보장합니다.

2. 도구 사용: 계획이 세워지면 에이전트는 데이터를 효율적으로 검색할 수 있습니다. Cortex Search는 비정형 소스에서 인사이트를 추출하고 Cortex Analyst는 정형 데이터를 처리하기 위한 SQL을 생성합니다. 도구 식별 및 실행에 대한 포괄적인 지원을 통해 엔터프라이즈 데이터에 기반한 정교한 애플리케이션을 제공할 수 있습니다.

3. 반영: 각 도구 사용 후 에이전트는 결과를 평가하여 설명 요청, 반복 또는 최종 응답 생성 중에서 다음 단계를 결정합니다. 이러한 오케스트레이션을 통해 정확도를 높이고 Snowflake의 안전한 경계 내에서 규정 준수와 제어를 지속적으로 유지하면서 복잡한 데이터 쿼리를 처리할 수 있습니다.

4. 모니터링 및 반복: 배포 후 고객은 지표를 추적하고, 성능을 분석하고, 지속적인 개선을 위한 행동을 수정할 수 있습니다. 클라이언트 애플리케이션 개발자는 TruLens를 사용하여 에이전트와의 상호 인터랙션을 모니터링할 수 있습니다. 거버넌스 제어를 지속적으로 모니터링하고 개선함으로써 기업은 보안과 규정 준수를 유지하면서 AI 에이전트의 규모를 자신 있게 확장할 수 있습니다. 

다른 Snowflake 제품과 결합된 Cortex Agents는 이제 대규모로 정형 및 비정형 데이터를 검색, 처리 및 관리할 수 있는 엔드투엔드 솔루션을 제공합니다.  

Snowflake는 Cortex Agents의 공개 프리뷰(PuPr)를 통해 AI 기능을 확장하고 있습니다. 이를 통해 정형 및 비정형 데이터 세트 전반에서 데이터를 효과적으로 오케스트레이션하여 데이터 인사이트 도출을 지원합니다. Cortex Agents는 Snowflake의 Cortex AI 검색 서비스의 향상된 기능을 기반으로, 에이전틱 애플리케이션의 데이터 액세스와 오케스트레이션을 간소화하여 보다 신뢰할 수 있는 AI 기반 의사 결정을 지원합니다.

• 현재 일반 제공(GA)되는 Cortex Analyst는 Anthropic Claude를 핵심 LLM으로 활용하여 고품질 정형 데이터 검색을 위한 에이전틱 텍스트 투 SQL 전환을 지원합니다.

• Cortex Search는 최첨단 품질의 비정형 데이터 검색 정확도를 달성하여 (NDCG@10) 등 다양한 벤치마크 세트에서 OpenAI 임베딩 모델을 최소 12% 이상 능가했습니다. 

이제 Cortex Analyst가 정형 데이터 분석을 개선하는 방법과 그 기능을 개선하고 있는 최신 혁신들을 살펴보겠습니다.

Cortex Analyst: 시맨틱 이해를 갖춘 AI 기반 SQL 생성

Cortex Analyst는 Cortex Agents 내에서 하나의 도구로 사용할 수 있습니다. 

패턴 일치에만 의존하는 일반적인 텍스트 투 SQL 시스템과 달리 Cortex Analyst는 시맨틱 모델을 사용하여 비즈니스 용어를 기본 데이터에 매핑합니다. 이 독특한 접근 방식은 복잡한 멀티 테이블 환경을 포함하는 실제 사용 사례에서 정밀도를 향상시킵니다.

Cortex Analyst의 새로운 기능

1. 증가된 스키마 복잡성 처리

Cortex Analyst는 이제 단순히 스타 스키마와 Snowflake 스키마 조인만 처리하는 데 그치지 않습니다. Snowflake의 새로운 고급 조인 검증 기능은 복잡한 쿼리에서 종종 발생하는 조인 할루시네이션 및 중복 집계와 같은 일반적인 문제를 완화합니다. 이를 통해 Cortex Analyst는 정밀도 저하 없이 멀티 테이블 쿼리를 지원할 수 있습니다.

2. 시맨틱 모델 생성 및 모니터링

Snowsight는 이제 공개 프리뷰(PuPr)로 제공하는 새로운 Analyst Admin UI를 통해 시맨틱 모델을 구축하고 다듬는 과정을 간소화합니다. 관리자는 테이블과 열을 선택하고 LLM(Snowflake의 안전한 보안 경계 내에서 실행)을 사용하여 시작용 시맨틱 모델 YAML 파일을 생성할 수 있습니다.

관리자 인터페이스는 또한 사용자 참여도와 피드백을 모니터링합니다. 이를 통해 고객은 사용 현황을 추적하고 시간이 지남에 따라 정보에 입각하여 시맨틱 모델에 대한 개선을 수행할 수 있습니다.

3. 비즈니스별 로직의 맞춤화

Custom Instructions가 이제 GA 버전으로 제공됨에 따라, 사용자는 시맨틱 모델 파일에서 자연어를 사용하여 Cortex Analyst를 고유한 비즈니스 요구에 따라 맞춤화할 수 있습니다. 일반적인 사용 사례로는 회계연도 시작 날짜 지정, 내부 명명 규칙 설명, SQL 생성 중 핵심 테이블의 우선순위 지정 등이 있습니다.

4. 벤치마크에서 입증된 성능

내부 벤치마크 기준으로 텍스트 투 SQL 사용 사례에서 90%의 정확도를 달성했습니다. Anthropic의 Claude 3.5 Sonnet을 통해 성능을 더욱 향상시켜 개선된 경험을 제공할 수 있습니다. Claude에서 실행되는 Cortex Analyst는 시맨틱 모델에 저장된 정보를 사용하여 실제 쿼리에서 다른 모델의 성능을 능가합니다.

이러한 업데이트를 통해 Cortex Analyst는 정형 데이터 분석을 개선하고 에이전틱 애플리케이션의 관리자 설정을 간소화합니다.

Cortex Search: 비정형 데이터를 위한 고품질 컨텍스트 엔진

Cortex Agents는 Cortex Search를 사용하여 비정형 데이터(e.g., 텍스트, 오디오, 이미지, 비디오)를 검색합니다. Cortex Search는 네이티브 하이브리드 검색으로 벡터와 어휘(키워드) 검색을 조합하여 추가적인 시맨틱 리랭킹 단계를 통해 고품질의 지연 시간이 짧은 대규모 검색을 제공합니다. 

Cortex Search의 결과물은 최고의 품질을 자랑합니다. OpenAI 임베딩 모델을 사용하는 경쟁 엔터프라이즈 검색 스택과 비교해 다양한 벤치마크 세트를 기준으로 최소한 12% 이상 능가합니다. 경쟁 엔터프라이즈 스택과 비교하여 검색 정확도(NDCG@10)에서 최소 12%이상 높은 수준입니다. 이 평가는 대표적인 공개 검색 벤치마크 데이터 세트 4개를 대상으로 실시되었습니다. Cortex Search는 Snowflake Arctic Embed L v2.0을 사용하는 하이브리드 검색으로서, 경쟁 관계에 있는 클라우드 호스팅 Lucene 기반 검색 서비스(e.g., Azure AI Search, AWS OpenSearch, ElasticSearch)와 비교했으며, OpenAI의 텍스트 임베딩 3 Large와 키워드 전용 검색을 모두 사용했습니다.

Cortex Search의 새로운 기능

1. 규모 및 경제성 향상

이제 Cortex Search는 수억 개의 행에 대한 인덱싱을 지원합니다. 또한, Cortex Search의 서비스 비용은 인프라 최적화 덕분에 30% 절감되었습니다.

2. 맞춤화 개선

Cortex Search는 이제 시맨틱 검색을 위한 벡터 임베딩 모델 선택 기능을 제공합니다. 여기에는 다국어 모델인 Snowflake-arctic-embed-l-v2.0 및 viage-multilingual-2이 포함됩니다. 또한 Cortex Search는 메타데이터 열에서 날짜 범위 필터링을 지원합니다.

3. 새로운 프리뷰 기능 

새로운 프리뷰 기능으로는 Cortex Search Admin UI(옵저버필리티 및 품질 튜닝), 숫자 및 시간 신호에 대한 부스트 및 감소 기능, 결과 신뢰도 점수, 고급 필터링 기능 등이 있습니다.

이러한 새로운 기능을 통해 Cortex Search는 Snowflake 데이터 기반으로 구축된 검색 및 에이전틱 애플리케이션을 위한 확장 및 맞춤화 가능한 파운데이션을 제공합니다.

Anthropic 모델: Cortex Agents를 지원하는 최첨단(SOTA) 모델

Anthropic의 가장 지능적인 LLM으로 손꼽히는 Claude 3.5 Sonnet 업데이트 버전은 Snowflake 내에서 실행되며, 데이터와 동일한 거버넌스 프레임워크를 사용하여 엔터프라이즈 애플리케이션에 고급 추론, 코딩 및 복잡한 워크플로우 실행을 제공합니다. 이제 이 모델은 Cortex Analyst를 지원하며 Cortex Agents에서 사용할 수 있어, 보다 정확한 검색, 정형 데이터 고급 분석, 효율적인 에이전트 워크플로우를 실현하는 동시에 거버넌스 규모를 유지할 수 있습니다.

Cortex Agents는 Claude 3.5 Sonnet를 통해 AI 기반 태스크를 보다 정확하게 계획, 조정, 반영 및 모니터링할 수 있습니다. Cortex의 에이전틱 기능은 도구 사용 및 정형 출력 지원으로 향상되었습니다. 고객은 Claude 3.5 Sonnet의 다중 모드 기능을 활용하여, 이미지 등 광범위한 비정형 데이터 세트에서 인사이트를 얻을 수 있습니다. 모든 인터랙션은 Snowflake의 안전한 환경 내에서 이루어지며, 사용 사례 전반에 걸쳐 액세스 제어와 통합 거버넌스를 지원합니다. 

고객은 Cortex Agents에서 Claude 3.5를 사용하여 규모에 맞게 정확하고 효율적이며 거버넌스가 적용된 AI를 대규모로 제공하고 생성형 AI 애플리케이션 제공 속도를 가속화할 수 있습니다.

AI 옵저버빌리티: AI 에이전트의 평가와 추적

AI 옵저버빌리티는 생성형 AI 애플리케이션에 신뢰성과 성능 및 신뢰를 제공합니다. 기업은 적절한 평가와 모니터링 통해 더 정확한 결과를 얻고, 비용을 최적화하며, 거버넌스 요구 사항을 해결할 수 있습니다.

Cortex AI Observability의 새로운 기능 

Snowflake의 Cortex A IObservability는 TruLens를 기반으로 하며 조만간 PuPr로 제공될 예정입니다.

1. 엔드투엔드 평가

AI 옵저버빌리티는 LLM을 평가자로 활용하는 (LLM-as-a-judge) 기법 등을 사용하여 에이전트 및 앱 성능을 평가할 수 있습니다. 이를 통해 관련성, 근거성, 유해성 등과 같은 지표를 보고하여, 신속하게 에이전트를 반복하고 개선하여 성능을 향상시킬 수 있도록 고객을 지원합니다.  

2. 비교

사용자는 평가 결과를 나란히 비교하여 다양한 LLM 구성에 따른 응답의 품질과 정확도를 평가하고 프로덕션 배포에 가장 적합한 구성을 식별할 수 있습니다.

3. 종합적인 추적

고객은 입력 프롬프트, 도구 사용, 최종 응답 생성 등 에이전트 실행의 모든 단계 대해 로깅을 활성화할 수 있습니다. 이를 통해 정확도, 지연 시간 및 비용을 위한 디버깅 및 개선이 용이해집니다. 

Snowflake 내에서 정형 및 비정형 데이터 모두에 대한 효과적인 거버넌스와 처리는 검색 서비스가 활용할 수 있는 AI 지원 데이터 세트를 생성하는 데 매우 중요합니다. 비정형 데이터에 대한 Snowflake의 지원은 데이터 저장, 액세스, 프로세스, 관리, 공유 기능을 포함합니다. SharePoint용 Snowflake 커넥터는 기존 권한을 준수하고 안전한 액세스 제어를 수행하는지 확인합니다. 아울러, Snowflake는 Datavolo 인수를 통해 멀티 모드 데이터 통합을 처리할 수 있는 플랫폼의 역량을 강화함으로써 강력한 데이터 거버넌스 및 처리에 대한 의지를 더욱 확고히 했습니다.

이러한 기능들을 통해 Cortex AI Observability는 엔터프라이즈용 AI 애플리케이션의 효율성과 신뢰성을 높입니다.

AI 에이전트의 미래

AI 에이전트는 기본적인 자동화를 넘어 다중 단계 작업과 추론을 동적으로 처리하고 있습니다. 이는 현재 사용 가능한 대부분의 반응형 소프트웨어 도구들보다 상당히 향상된 기능입니다. LLM이 계속 발전함에 따라 에이전트는 태스크에 대한 협업, 계획, 실행 및 개선을 통해 효율성을 높이고 비용을 절감할 것입니다. 에이전트는 소프트웨어 및 노동 비용을 대폭 줄일 수 있는 잠재력을 가지고 있습니다.

Cortex Agents는 Cortex Analyst, Cortex Search, Anthropic의 Claude 모델 및 AI 옵저버빌리티를 사용하여, 통합 거버넌스 프레임워크와 정형 및 비정형 데이터 모두를 위한 효율적인 처리 엔진 기반 위에 인텔리전스를 제공합니다.  이러한 요소들을 바탕으로 개발자는 REST API 인터페이스를 사용하여 원하는 애플리케이션에 통합할 수 있는 데이터 에이전트를 구축하고 배포할 수 있습니다. 또한, 조직은 Snowflake의 파트너가 구축한 Sema4.ai 및 Seek AI 솔루션을 활용할 수 있습니다.

자세히 알아보기

• Cortex Agents 체험하기: 첫 번째 Cortex Agents를 구축해 보세요.
• 데모 시청하기 Cortex Agents가 어떻게 작동하는지 알아보세요.
• 더 보기: Cortex Agents가 데이터 액세스를 개선하는 방법을 알아보세요.