Snowpark로 비용을 최적화한 ICE와 NYSE

ICE는 미국, 유럽, 싱가포르, 아부다비에서 금융상품 및 어음 거래소를 운영하며 데이터 서비스 및 모기지 테크놀로지를 제공하고 있는 세계적인 금융 기관입니다. ICE의 자외사 중 하나인 NYSE는 세계 최대 증권 거래소로서, 유수의 기업가들과 창업가들에게 자본을 조달하고 세상을 변화시킬 수 있는 기회를 제공합니다.

ICE는 이러한 ‘기회 제공' 전략은 혁신적인 기술, 산업 전문 지식 및 방대한 양의 데이터에 의존하고 있습니다. 이에, ICE와 NYSE는 Snowflake 데이터 클라우드를 채택하여 대규모의 데이터를 효율적으로 관리하면서 비용을 절감하고 있습니다.

ICE는 매일 수십억 건의 트랜잭션 기록을 처리하고 있고, 이는 규제 준수, 시장 감시 및 고객 보고를 위한 다운스트림 분석 시스템에 부담을 주고 있습니다. NYSE의 규제 및 NMS 기술 부문 선임 이사인 Anand Pradhan는 “전 시스템을 통틀어 거래일 단 하루 동안 처리되는 메시지가 5,000억 개가 넘습니다."라면서 “이 모든 트랜잭션이 마이크로초 단위로 처리되고 있어서 복잡하고 밀도 높은 시계열 데이터가 생성됩니다.”라고 설명합니다.

ICE가 이전에 사용하던 온프레미스 데이터 웨어하우스는 스토리지 용량이 제한적이어서 데이터 아카이빙에 많은 시간이 소요되고 하드웨어 업그레이드에 많은 비용이 발생했습니다. 기술 담당 직원들은 동시성 문제와 보고 지연을 완화하기 위해 새로운 워크플로우를 온보딩하는 대신 해결 방법을 엔지니어링하는 데 시간을 할애했습니다. 

그러던 중 ICE는 나날이 증가하는 분석 수요를 충족하기 위해 여러 클라우드 기술을 검토하기 시작했고 심층적인 개념 증명(PoC)을 수행한 후 마침내 Snowflake 데이터 클라우드를 선택했습니다. “저희는 2019년에 Snowflake를 도입했고 파생상품 거래소에서 개념 증명(PoC)을 진행했습니다. 팬데믹이 정점에 치달았던 2020년에 서비스를 시작했는데, 그 결과는 매우 성공적이었습니다.”라고 ICE의 Divakar Jeyadevan 이사는 말합니다.

거의 즉각적으로 무한에 가까운 스토리지 확장과 컴퓨팅을 제공하는 Snowflake를 채택하면서 ICE는 다양한 보고 요구 사항을 준수하는 동시에 매일 새롭게 로드되는 테라바이트 규모의 데이터를 처리할 수 있게 되었습니다. 워크로드를 데이터 클라우드로 마이그레이션하면서 애드혹 쿼리 성능을 최대 80%까지 개선하고 데이터 가용성에 대한 서비스 수준 계약(SLA) 문제를 실질적으로 제거했습니다.

현재 ICE는 비즈니스 및 운영 지표를 ‘360도’ 전방위적으로 파악하고 있으며 비용 투명성도 개선되었습니다. “Snowflake는 여러 비즈니스 단위에 걸쳐 관리를 간소화할 수 있는 탁월한 비용 관리 뷰를 제공합니다.”라고 Jeyadevan 이사는 말합니다. 또한 Snowflake의 완전 관리형 인프라 덕분에 ICE의 기술 담당 직원들은 하드웨어 조달이나 시스템 업그레이드 혹은 해결책 강구에 신경 쓸 필요 없이 분석 정보를 확보하는 데만 집중할 수 있게 되었습니다. 

ICE의 Snowflake 여정에서 중요한 첫 단계는 기존 워크로드를 데이터 클라우드로 이전하는 것이었지만, 그 이후에는 곧바로 온클라우드 비용 절감 극대화와 처리량 증대, 데이터 영향의 가속화 단계에 초점이 맞춰졌습니다. 

특히, NYSE의 미션 크리티컬한 규제 보고 워크로드를 최적화하면서 데이터 비용을 절감하고 생산성을 높일 수 있는 중대한 기회를 얻게 되었습니다. “저희의 규제 보고 워크로드는 데이터 세트에서 수십억 개의 기록을 분석하고 이를 지속적으로 병합하면서 다양한 패턴을 찾고 있으며, 이와 동시에 여러 참조 데이터 소스를 통합하고 있습니다. 그렇기 때문에 방대한 규모의 컴퓨팅이 필요하죠.”라고 Pradhan 선임 이사는 말합니다. 

NYSE는 원래, 외부 환경에서 데이터 엔지니어링 파이프라인을 처리하는 데 Spark 커넥터로 Snowflake를 사용했습니다. 하지만 서로 다른 두 개의 컴퓨팅 환경을 유지하다 보니 비용과 운영 부담이 가중되었고, Snowflake 안팎으로 데이터를 옮기는 과정에서 보이지 않는 비용과 ‘이중 과세’가 발생했습니다. 

이에, NYSE는 규제 보고 워크로드를 가동할 수 있는 비용 효율적이고 안정적인 방법을 찾아 Snowpark로 눈을 돌렸고, Snowflake Professional Service와의 협업을 통해 위험은 줄이면서 Snowpark로의 전환을 가속화했습니다. “이미 데이터가 저장되어 있는 단일 Snowflake 플랫폼에서 Python 기반의 데이터 엔지니어링 파이프라인을 구축한 덕분에 어떠한 거버넌스 측면의 타협 없이도 Snowpark로 이전할 수 있었습니다. 이는 저희에게 중요한 진전이었으며 매우 성공적인 결과를 가져다주었습니다.”라고 Pradhan 선임 이사는 말합니다.

NYSE는 Snowpark를 통해 복잡성을 없애고 비용을 절감했습니다. 규제 보고 워크로드를 위해 Snowpark를 배포한 지 한 달 만에 전보다 일관된 데이터 볼륨을 유지하면서도 관련 데이터 비용을 절반 이상 절감했습니다. “Snowpark로 비용을 크게 절감한 덕분에 올해 예산을 조정해야 했습니다.”라고 Pradhan 선임 이사는 말합니다. 

Snowpark로 워크로드를 간소화하면서 장애 지점도 줄어들고 관리할 수동 코드 튜닝 작업 또한 감소했습니다. “해결해야 할 엔지니어링 과제가 줄어든 덕분에 데이터 엔지니어링 처리량이 수배로 증가했습니다. 이제 고급 분석에 더 집중하고 시간을 보다 효율적으로 활용하여 생산성을 높일 수 있게 되었습니다.”라고 Pradhan 선임 이사는 말합니다.

ICE는 SaaS 도구를 Snowflake에 연결하면서 보다 손쉽게 데이터를 극대화하여 더 나은 비즈니스 성과를 거둘 수 있었습니다. “Snowflake 도입 초기에 여러 성과를 거둔 덕분에 이제 저희 개발자 커뮤니티에서는 Snowpark for Python 활용에 대해 많은 기대를 갖고 있으며, 앞으로 Spark에서 추가적으로 마이그레이션할 만한 다양한 사용 사례에 대해서도 살펴보고 있습니다.”라고 Jeyadevan 이사는 말합니다. Pradhan 선임 이사가 이끄는 팀은 현재 머신러닝과 생성형 AI 사용 사례를 지원할 솔루션을 평가하면서 Snowflake의 최신 AI/ML 기능 일부를 테스트하고 있습니다. “Snowflake와 협업을 시작하면서 이 모든 기회가 열리게 되었습니다. 앞으로도 계속해서 Snowflake와 함께 더 많은 기회를 얻을 수 있기를 기대합니다.”라고 Pradhan 선임 이사는 말합니다.

추가 워크로드를 최적화한다면 ICE는 더욱 더 유리한 입지에서, 변화하는 시장 상황과 나날이 급증하는 데이터 볼륨에 원활히 대응할 수 있을 것입니다. 특히, Snowflake 마켓플레이스가 향후 최적화에 중요한 역할을 할 것으로 예상됩니다. “Snowflake로 마이그레이션한 것은 저희가 앞으로 나아가기 위한 올바른 선택이었습니다. 덕분에 다양한 실험과 혁신, 협업을 진행할 수 있게 되었죠.”라고 Pradhan 선임 이사는 말합니다.