비정형 텍스트 분석 규모, 효율적인 배치 LLM 추론으로 확장 실현
비정형 텍스트는 고객 리뷰, 지원 요청 티켓, 통화 녹취록, 각종 문서 등 비즈니스의 모든 측면에 존재합니다. 대규모 언어 모델(LLM)은 분류에서 내용 요약에 이르기까지 다양한 태스크를 실행하여 데이터에서 가치를 추출하는 방식을 혁신하고 있습니다. LLM을 통해 자연어로 실시간 대화가 가능하다는 사실은 이미 입증된 바 있으나, LLM을 활용하여 수백만 개의 비정형 데이터 레코드에서 인사이트를 추출하는 것은 게임 체인저가 될 수 있습니다. 그렇기 때문에 배치 LLM 추론이 꼭 필요합니다.
이번 게시물에서는 대규모 텍스트 데이터 분석을 위한 일반적인 비즈니스 사용 사례를 살펴보고 배치 LLM 파이프라인이 배포하기 어려운 이유와 SQL 함수를 통한 배치 추론을 위해 Snowflake Cortex AI를 어떻게 최적화했는지 소개합니다.
배치 LLM 추론 작업이란
조직 내 다양한 팀들은 배치 LLM 추론을 활용하여 대규모 텍스트 데이터에서 인사이트를 추출할 수 있습니다. 고객 인텔리전스 팀은 리뷰와 포럼 댓글을 분석하여 감성 트렌드를 파악하고, 지원 팀은 제품의 문제와 제품 로드맵상의 격차를 파악하기 위해 지원 요청 티켓을 프로세스합니다. 한편 운영 팀은 문서에서 엔터티 추출을 사용하여 워크플로우를 자동화하고 메타데이터 중심의 분석 필터링을 가능하게 합니다. 이처럼 조직 내 여러 팀들이 LLM을 사용하여 대규모 비정형 텍스트 데이터에서 인사이트를 추출하는 방법을 좀더 구체적으로 살펴보면 다음과 같습니다.
텍스트 분류 및 태그 지정: 감성, 주제 또는 시급성을 기반으로 지원 요청 티켓, 이메일, 뉴스 기사 또는 제품 리뷰 등을 자동 분류합니다.
엔터티 추출: 계약서, 청구서 또는 의료 기록 등에서 주요 엔터티(이름, 날짜, 위치, 재무 수치)를 추출하여 비정형 텍스트를 정형 데이터로 변환합니다.
감성 및 트렌드 분석: 고객 피드백, 설문조사 응답 또는 소셜 미디어상의 토론을 대규모로 분석하여 트렌드를 감지하고 감성을 측정하고 비즈니스 의사 결정에 필요한 정보를 제공합니다.
콘텐츠 모더레이션: 소셜 미디어 게시물, 채팅 로그, 고객 피드백 등 대규모 데이터 세트를 스캔하여 정책에 위반되는 내용이나 유해한 콘텐츠 또는 규정 준수상의 문제를 찾아냅니다.
문서 요약: 보고서, 연구 논문, 법률 문서 또는 회의 기록 등에 대해 간결한 요약본을 생성합니다.
문서 기반 RAG 준비: 벡터 표현에 내장하기 전에 문서를 수집, 정리 및 분류하여 검색 증강 생성(RAG) 시스템에서 효율적인 검색과 향상된 LLM 응답이 이뤄질 수 있도록 지원합니다.
텍스트 데이터 품질 개선: 이상적인 입력 조합에 대한 컨텍스트를 제공하여 양식에 작성된 내용 등과 같은 여러 텍스트 필드를 검증함으로써 이상 징후와 잘못된 기록을 감지하야 데이터 품질을 개선할 수 있습니다.
피처 엔지니어링: 비정형 텍스트를 정형 피처로 추출, 분류 및 변환하고, 풍부한 컨텍스트와 인사이트를 통해 머신러닝 모델을 강화합니다.
배치 LLM 파이프라인의 효율성이 중요한 이유
‘LLM이 워크플레이스를 변화시키고 있다’는 단순히 슬로건 문구가 아닙니다. 그도 그럴 것이 10,000개의 지원 요청 티켓을 분류하려면 업무 속도가 가장 빠른 직원이라고 해도 약 55시간(티켓당 20초)이 소요됩니다. 하지만 최적의 LLM 파이프라인을 사용하면 몇 분이면 충분합니다. 이는 단순히 점진적인 개선이 아니라 혁신적인 효율성 향상으로서 수천 시간의 노동 시간을 절약하고 대응 시간을 크게 단축해줍니다.
데이터 볼륨이 증가하고 AI 자동화가 확대됨에 따라 LLM를 활용한 데이터 처리의 비용 효율성은 시스템 아키텍처와 모델 유연성에 의해 크게 좌우됩니다. 효율적인 배치 처리 시스템은 증가하는 비정형 데이터의 볼륨에 대응하기 위해 비용 효율적인 방식으로 규모를 조정할 수 있습니다. LLM을 유연하게 전환할 수 있는 기업은 각 사용 사례 맞게 적합한 규모로 모델을 조정하고 모델 개선에 따라 쉽게 업그레이드하여 비용을 최적화할 수 있습니다.
또한 조직은 기술 팀의 효율성을 개선하기 위해 LLM 파이프라인을 기존의 정형 데이터 워크플로우와 통합하는 방안을 고려해야 합니다. 파이프라인 관리, 처리 및 오케스트레이션에 대한 기존 투자를 확대하면 아키텍처는 단순화되고, 통합 및 인프라 유지 관리 작업으로 인한 운영의 복잡성은 줄어듭니다. 또한, 이미 정형 파이프라인을 관리하고 있는 데이터 엔지니어는 이러한 통합을 통해 비정형 데이터 워크플로우를 손쉽게 온보딩하고 유지 관리할 수 있습니다.
Cortex AI로 실현하는 효율적인 배치 추론 파이프라인 실행
데이터 기반 테크 기업인 Headset은 선도적인 LLM API 추론 공급자(Fireworks AI)를 통해 실행하던 배치 분류 파이프라인 중 하나를 Snowflake Cortex의 Complete 추론 함수로 전환했으며, 그 결과 작업 실행 시간이 20분에서 20초로 단축되었습니다.
Snowflake Cortex의 Complete 함수를 사용하는 개발자는 중간 데이터베이스나 람다 함수 없이 SQL 함수만으로 LLM 배치 추론을 실행할 수 있으며 이를 통해 모델 선택의 유연성과 함께 신뢰성 높은 고속 처리를 수행할 수 있습니다.
고객 성공 사례
Nissan은 리뷰 및 포럼에서 고객의 감성을 분석하여 대리점의 제품 및 서비스 향상을 지원하는 고객 인텔리전스 애플리케이션 구축 프로젝트에 Snowflake를 사용함으로써 프로젝트 일정을 무려 두 달이나 앞당겼습니다. 온디맨드 웨비나 시청하기
Skai는 고객이 다양한 전자상거래 플랫폼에서 합리적인 카테고리를 구축하여 구매 패턴에 대한 더 나은 인사이트를 얻을 수 있도록 지원하는 분류 도구를 단 이틀 만에 배포했습니다. 사례 연구 읽기
고객 성공 사례를 담은 eBook에서 더 많은 성공 스토리를 확인하세요.
시작하기
아래 소개된 다양한 리소스를 확인하시고, 더 많은 데이터 유형에 대한 서버리스 추론 관련 업데이트도 계속 지켜봐주세요.
저자
