LTI Mosaic Decisions 와 함께 Snowflake 대 Spark 벤치마킹

LTI Mosaic Decisions 와 함께 Snowflake 대 Spark 벤치마킹

참고: 이 내용은 2021.10.13 에 게시된 컨텐츠(Benchmarking Snowflake Versus Spark with LTI Mosaic Decisions)

오늘날, 조직 에는 더 빠르고, 더 나 은 품질 을 갖추고, 비즈니스 역학 에 대해 더 높은 탄력성 을 지닌 데이터 및 분석 통찰력 이 필요 필요. 데이터 및 분석 리더 가 데이터 관리 를 위한 민첩 하고 협력 적 인 프레임워크 를 위해 DataOps 로 눈 을 돌리고 있는 것 은 당연 합니다.

Gartner® 는 DataOPS 를 ‘조직 전반 에 걸쳐 데이터 관리자 와 데이터 소비자 간 데이터 흐름 의 커뮤니케이션, 통합 및 를 를 개선 하는 데 초점 을 맞춘 협력 적 인 데이터 관행 관행 관행 이라 이라 고 정의 합니다.1 오늘날 기업은 확장 가능하고 비용 효율적이며 관리하기 쉬운 DataOps 플랫폼 및 솔루션을 구려하 땩려하. Décisions LTI Mosaic 개발하며, 실행 가능한 통찰력을 생성할 수 있는 기반을 구축할 수 있도록 합니다.

빠르게 큰 규모로 이뤄지는 데이터 처리는 모든 DataOps 플랫폼의 핵심입니다. 데이터 처리 엔진 에 대한 다양 한 선택지 를 고려 해 볼 때, 각 옵션을 철저히 평가 하여 귀하의 비즈니스 목표 에 가장 잘 부합 하는 옵션을 선택 할 필요 가 있습니다. Lti 는 기업 이 고유 한 요구 사항 에 가장 효과 적 인 데이터 처리 엔진 을 선택 할 수 있도록 하기 위해 최근 Snowflake 와 Apache Spark 라는 두 가지 인기 있는 선택지 기능 기능 을 비교 하는 상세한 연구 를 수행 했습니다.2 이 비교 연구에서 LTI et LTI 의 Mosaic Decisions 플랫폼으로 사용했습니다. 이 연구는 다음과 같은 다양한 매개 변수에 대한 몇 가지 흥미로운 통찰력을 드러냈습니다.

  • 성능 : Snowflake 일반적으로 Apache Spark 엔진의 200% 에 달하는 데이터 처리 용량을 제공합니다. 성능과 TCO 측면에서 Snowflake 사이클 전반에 걸쳐 Spark 훨씬 능가하는 빠른 실행 속도륑 자랑합니다. Flocon de neige 의 다른 기능 이 귀하의 비즈니스 요구 에 부합 한다 고 가정 하면, flocon de neige 는 Décisions mosaïques 와 통합 되고 함께 사용 할 수 있는 자연 스럽고 선호 되는 선택지 입니다.
  • 민첩성 : Snowflake 진정한 SaaS 솔루션이기 때문에 간단하게 시작할 수 있습니다. 즉, 설치, 구성 및 관리 에 어떤 하드웨어나 소프트웨어도 필요 하지 않으며 심지어 구성 요소 에 대한 유지 보수 작업도 처리 할 수 ​​수 있습니다. 한편, étincelle 는 분석 전문가 를 위해 개발 된 기술로 최신 기술 에 그다지 능숙 하지 않은 사용자 에게 는 어려울 수 수. 또한 Spark 클러스터 에서 실행 되는 데이터 파이프 라인 은 실행 을 시작 하는 데 약 5 분 이 소요 되어 전체 처리 가 지연 되는 반면 Snowflake 에서 는 모든 데이터 실행 이 즉시 시작 되었습니다.
  • 안정성 : Spark 를 사용 할 때 메모리 또는 디버깅 및 근본 원인 분석 (RCA) 을 수행 하기 어려운 기타 문제 로 인 한 일부 작업 실패 가 관찰 되었습니다. 반면 Snowflake 실행 시에는 작업 실패가 단 한 건도 등록되지 않았습니다.
  • 사용 편의성 : 조직 은 확장 가능 하고 비용 효율 적 이며 관리 하기 쉬운 데이터 솔루션 에 대한 전략 적 투자 를 지원 하는 것 이 필수 적 이라는 것 을 깨달았습니다. Spark 에서 성능 을 추출 하기 위해서 는 많은 매개 변수 를 구성 해야 하는 반면 Flake de neige 의 경우 모든 것 을 바로 사용 할 수 있습니다.
  • 동시성 : 동시 사용자 가 너무 많으면 필연 적 으로 사용자 요구 에 맞게 시스템 을 확장 해야 합니다, 여기 에서 Spark 대화형 클러스터 와 Snowflake 가상 웨어 모두 모두 자동 크기 조정 기능 을 제공 합니다. 그러나 Spark 클러스터 가 100 명 이상 의 동시 사용자 를 관리 하는 데 어려움 을 겪는 반면 Flake de neige 는 25% 의 리소스 만 사용 해도 3 배 더 뛰어난 성능 을 발휘 했습니다.

관찰, 통찰력 및 권장 사항

LTI Mosaic Decisions 와 Snowflake 조합은 각 제품의 기능을 활용하고 보완하므로 기업에는 윈-윈 솔루션입니다. Décisions mosaïques lti 는 flocon de neige 의 플랫폼 에 대한 즉각 적 인 지원 과 함께 제공 되며 Décisions mosaïques 의 아키텍처 는 높은 확장성과 성능 을 활용 하여 Snowflake 의 아키텍처 최대한 최대한 활용 합니다. 따라서 Snowflake의 고성능 지향 아키텍처가 충분히 활용됩니다.

Mosaic Decisions 에 대한 클라우드 네이티브 푸시다운 데이터 변환을 지원합니다. 이 를 통해 Flake de neige 에 이미 저장 되어 있는 절차 를 활용 할 수 있을 뿐 만 아니라 Snowpark 와 같은 제품 제품 및 서비스 와 쉽게 통합 될 수 있도록 향후 요구 사항 지원 지원 할 수도 있습니다. Décisions mosaïques 에는 Flake de neige 의 쉬운 구성 을 위해 기본 적 으로 내장 된 기능 이 있으며 있으며, 어떤 Snowflake 웨어 하우스 실행 이든 쉽게 관리 할 수 ​​있도록 특별히 제작 된 애플리케이션 이 있습니다. 또한 Snowflake 워크로드를 쉽게 생성할 수 있는 드래그 앤 드롭 기능도 제공합니다.

요약 하면, LTI 의 Décisions mosaïques 플랫폼은 Flake de neige 와 Spark 를 모두 지원 하지만 Flake de neige 와 Décisions mosaïques 의 조합 은 솔루션 구현 시간 과 Roi 모두 에 최적 화 된 DataOPS 플랫폼 을 만들어냅니다. 이 블로그의 기반이 된 연구에 대해 자세히 알아보려면 LTI 최적화된 DataOps 위한 Snowflake 대 Spark 벤치마킹을 읽어보세요.


1 Glossaire informatique Gartner, ‘DataOps’, 2021 9 월 1 일[https://www.gartner.com/en/information-technology/glossary/dataops]. Gartner 는 미국 및 국제 적 으로 Gartner, Inc. 및 / 또는 그 계열사 의 등록 상표 및 서비스 표 이며 허가 를 받아 여기 에서 사용 사용 됩니다.

2 lti.co/CyTwFD4

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.