Snowflake 사용하여 Iterable 의 데이터 메시 구축

Snowflake 사용하여 Iterable 의 데이터 메시 구축

참고: 이 내용은 2022. 3. 7 에 게시된 컨텐츠(Building Iterable’s Data Mesh Using Snowflake: Three Components of an Innovative Data Management Strategy) 에서 번역되었습니다.

빅 데이터는 디지털 마케팅 환경에 혁명을 일으키고 있습니다. 조직은 수많은 소스에서 데이터를 수집하고 있습니다. 비교할 수 없는 속도로 데이터 스트림이 수집되고 있습니다. 그리고 기업은 이메일에서 사용자 행동, 금융 거래에 이르는 다양한 데이터 구조를 다루다 싈스.

거의 모든 기업 이 스스로 를 데이터 를 가장 중시 하는 기업 이라 고 생각 하지만 모든 기업 이 데이터 를 쉽게 활성 화 하고 가치 있는 로 로 변환 할 수 민주 화 수준 의 데이터 아키텍처 를 만들고 있는 할 은 민주. 최근 까지 많은 조직이 다양 한 소스 에서 가져온 방대한 양 의 데이터 를 처리 하기 위해 중앙 집중 화 전략 을 사용 했고, 쿼리 하기 다른 다른 소스 에서 데이터 데이터 를 가져 오고 전송 해야 했으나 했으나 이는 시간 과 이 많이 될 될 수 전송 해야 했으나, 이는 시간 과 이 많이 소요 될 수 수 수 .

Itérable 은 회사 가 성장 함 에 따라 이 와 동일 한 많은 과제 와 직면 하는 것 과 유사 한 시나리오 에 처해 있음 을 알게 되었습니다. 당사 는 다양 한 운영 팀 이 비즈니스 전반 에 걸쳐 주변 데이터 에 원활 하게 액세스 하여 분석 하는 동시 에 대규모 데이터 가용성 및 접근성 를 를 해결 할 수 새로운 아키텍처 에 대한 필요성 이 증가 하고 있다는 것 을 알게 되었습니다.

Iterable용 데이터 메시 개발을 돕기 위해 Snowflake 로 눈을 돌리게 되었습니다. 혁신 적 인 데이터 관리 전략 을 구축 하고 데이터 민주 화 의 핵심 과제 일부 를 해결 하는 데 도움 이 된 세 가지 요소 를 살펴보겠습니다.

도메인 기반 소유권

성공 적 인 데이터 메시 모델 을 구축 하기 위한 첫 번째 단계 는 도메인 기반 데이터 소유권 과 파이프 라인 을 구축 하는 것 입니다.

Flocon de neige 는 다양 한 언어 (sql, python, java 등) 를 사용 하여 대규모 애드혹 데이터 파이프 라인 을 구축 할 수 있는 기능 을 제공 했습니다 했습니다. 당사는 다양한 ETL(Extract, Transform, Load) 파트너의 Cinqtrandbt를 쉽게 통합 하여 많은 gtm (go-to-market) 애플리케이션 내 데이터 사일로 를 해결 하고 데이터 접근성 을 개선 할 수 있었습니다. 이제 데이터 엔지니어 는 몇 분 안 에 Salesforce, Zuora, Zendesk 와 같은 주요 애플리케이션 에서 클릭 몇 번 으로 파이프 라인 을 쉽게 설정 할 수 수 있습니다.

반면 itérable 의 제품 조직 은 많은 양 의 데이터 를 높은 빈도로 수집 해야 하는 더 복잡한 데이터 파이프 라인 사용 사례 를 제시 했습니다. Bi 팀 은 flocon de neige 작업 기능 을 활용 하여 api 엔드 포인트 에 대한 요청 을 트리거 할 수 있었고 있었고, 그 결과 Snowpipe 가 외부 S3 버킷 에서 데이터 를 자동 으로 처리 하여 flocon de neige 데이터베이스 에 수집 했습니다.

Flocon de neige 를 사용 하여 각 도메인 을 설정 하는 프로세스 를 단순 화 하고 자체 데이터 및 etl 프로세스 에 대한 팀 의 자율성 을 개선 할 수 수 있었습니다.

8Ts7xBZzgta3SA0nBLrdXJZNLP9CHW93gB7KsHoum6R6S10xoBkZFFPpNFYXWjma6WVXy0ibDCS3Zj7itkrT3DaaRyXe 6mbOt
데이터를 제품처럼 공유

데이터 메시 접근법의 두 번째 핵심 요소는 데이터를 제품처럼 공유하는 기능이었습니다.

데이터 를 구조 화 하고 처리 한 후 에는 회사 에서 교차 공동 작업 시 이 를 어떻게 사용 하는지 가 중요 한 단계가 단계가 됩니다. Flocon de neige 의 보안 데이터 공유 기능 을 활용 하면 기업 은 내부 부서 뿐 만 아니라 고객 및 파트너 와 같은 외부 조직 과도 데이터 집합 을 공유 할 수 수 있습니다. Itérable 의 bi 는 더 스마트 하게 정보 를 수집 하는 시스템 을 만들 뿐 만 아니라 최종 사용자 가 데이터 기반 의사 결정 을 내릴 수 있는 권한 을 부여 하는 데 도움 되기 를 를 를 원합니다.

데이터 집합 공유 는 는 «itérable à itérable» 프로젝트 (자체 기술 을 사용 한다는 것 을 설명 하기 위해 사용 하는 용어) 가 Marketo, Salesforce 및 가장 중요 한 itérable 애플리케이션 에서 클라우드 간 연락처 프로필 을 통합 할 수 있게 되었을 때 내부 으로 위력 위력 을 을 통합 할 수 있게 되었을 내부 적 으로 위력 위력 을 을 통합 할 있게 있게 때 내부 적 으로 위력 을 을 발휘 할 수 있게 되었을 내부 적 으로 위력 을 을 했습니다. 다양 한 소스 에서 깨끗하고 처리 된 데이터 모델 에 쉽게 액세스 할 수 있었고 Snowflake 및 Segment.io 를 통해 다운스트림 으로 전송 된 고객 에 대한 규정 준수 기본 설정 이 포함 마스터 마스터 보강 프로필 을 만들 규정 준수 기본 이 이 된 마스터 보강 프로필 을 만들 수 있었습니다.

Bi 팀 은 Jupyter 에 있는 Snowflake 의 Python 커넥터 를 사용 하여 데이터 과학 모델 결과 를 공유 할 수 있게 되어 판매 예측, 예측 모델링, 재무 보고 와 같은 한 수익 이니셔티브 이니셔티브 를 가속 화 했습니다. Bi 팀 은 현재 여러 타사 데이터 소스 를 수집 하고 예측 분석 을 실행 하여 상위 계정 을 식별 하는 데 도움 을 주고 주고. 그 후 해당 예측 분석 의 결과 를 주요 비즈니스 이해 관계자 와 다시 공유 할 수 있으므로 데이터 의 교차 공동 작업 의 진정한 가치 를 실현 할 수 수.

근본 적 으로 데이터 메시 아키텍처가 필요 한 가장 강력 한 사용 사례 는 고객 과 데이터 를 안전 하게 공유 하는 기능 입니다. Iterable은 작년에 Snowflake 보안 데이터 공유를 지원하는 네이티브 통합을 구축 하여 itérable 고객 에게 etl 없이 도 자체 Flake de neige 인스턴스 에서 바로 시스템 이벤트 데이터 에 액세스 할 수 있는 권한 을 원활 하고 안전 하게 부여 부여 했습니다. 이제 itérable 고객 은 자체 조직 내 에서 라이브 데이터 를 안전 하게 공유 하고, 데이터 스토리지 비용 을 절감 하며, 데이터 사일로 를 제거 하여 강력 한 비즈니스 결정 을 내릴 수 있습니다.

데이터의 중앙화 및 탈중앙화 간 균형

데이터 메시 를 최적 의 솔루션 으로 만드는 마지막 요소 는 데이터 의 중앙 화 와 탈 중앙 화 간 의 균형 을 이루는 것 입니다. Iterable 의 BI는 데이터 전략을 하이브리드 모델로 봅니다. 핵심 Bi 팀 은 데이터 의 표준화 및 중앙 화 를 제공 하고 다른 팀 의 비즈니스 이해 관계자 와 분석가는 도메인별 데이터 거버 넌스 정책 에 액세스 하여 자체 분석 을 실행 할 수 있습니다.

Itérable 의 수익 및 청구 데이터 는 도메인 사용자 의 데이터 와 역할 에 이르기 까지 보안 정책 을 정의 하는 Snowflake 의 기능 으로 보호 됩니다. 영업 및 마케팅 팀 은 재무 데이터 모델 을 각각 쿼리 하고 사용자 역할 및 데이터 민감도 에 따라 데이터 보기 를 수정 하여 조직 전체 에서 보안 을 확장 할 수 있습니다. 또한 데이터 공유를 활용하는 외부 조직은 기존 보안 정책과 통합할 수 있습니다.

미리 살펴보기

이는 데이터 메시 아키텍처를 구체화하기 시작하는 것에 불과합니다. 고객 풀이 확장 됨 에 따라 itérable 은 업계 벤치 마크 에 뛰어들어 업계 의 다른 사람들 이 혜택 을 볼 수 있는 중요 한 Kpi 를 공유 할 수 수 있습니다.

BI 팀은 내부적으로 고객 성숙도 모델을 개선하고 확장하기를 기대하고 있습니다. 당사 는 더 강력 한 (그리고 곧 머신 러닝 에 기반 하게 될) 수익 분석 을 촉진 하기 위해 조직 전체 에서 모든 데이터 의 중앙 화 를 계속 확장 하기 를 원합니다.

데이터 메시 아키텍처의 진정한 힘은 비즈니스와 함께 확장할 수 있는 능력에 있습니다. 이는 앞으로 Iterable 에서 데이터에 의해 실현될 예정입니다.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.