Blog de Snowflake

Blog de Snowflake

注:本記事は(2021年12月1日)に公開された(Pas de taille unique : créez le bon maillage de données pour vous)を翻訳して公開したものです。

データ組織においては、万能な仕組みは存在しません。以前のブログでハブアンドスポークモデルについて 説明 し まし た。 この よう な 中央 に 拠点 を 置く (COE) モデル は 、 中央 集権 型 の 組織 構成 と 捉え られ がち です (恐らく 「中央 という という 単語 の 影響 でしょ う)。 、 ハブアンド スポーク スポーク モデル で で でしょ う)。 しかし ハブアンド スポーク スポーク モデル で で、 スポーク 内 で 実施 できる または 実施 す べき こと を ハブ に 集める 必要 は 一切 あり ませ ん。 私 として は 、 て は 調整 メカニズム の 役割 果たし て いる と 考え て い ます。.ましょう。幸い、CoEの頭字語はそのまま使用できます。

Data Mesh Post Image 1 1

成熟度の向上による求心力の創造

すべて の スポーク が 等しく 成熟 し て いる と は 限り ませ ん。 また 、 成熟 度 は 時間 を 経る こと で 変化 し。。 問題 は どの よう に 責任 を 分配 する か です。 より 多く 自律 性 を 求める 求める 分配 か です。 より 多く 自律 性 を 求める 求める 求める または です です。 より の 自律 性 を 求める 求める 求める必要 な 事業 部門 や 職務 も あり ます。 たとえば 、 顧客 データ の 取得 や 使用 において マーケティング チーム の 成熟 度 が 増す に つれ 、 彼ら は より に 顧客 データ プラットフォーム ((CDP) を 管理 し 、 アウトリーチ や や キャンペーン の の ターゲティング) を 管理 し マーケティング アウトリーチ や や キャンペーン の ターゲティング ターゲティングアトリビューション を 最適 化 する ため に 、 独自 の アジェンダ を 構築 し たい と 考える よう に なる かもしれません。 、 、 プロダクト チーム は 製品 の の 機能 、 需要 予測 、 顧客 へ の 直接 的 な インサイト 、 需要 予測 、 顧客 へ の 直接 的 な インサイト の 提供の ため に 、 製品 データ の 分析 機能 を 構築 する かもしれません。 彼ら は 、 パイプライン における データ エンジニア リング チーム へ の 依存 度 、 、 分析 における 中央 の チーム データ データ サイエンス チーム へ の 依存 度 を し たい や データ サイエンス チーム へ の 依存 度 を し たい たい と と考え て い ます。 別 の シナリオ として は 、 地域 組織 の 1 つが 買収 し た 企業 が 独自 の データ イン フラストラクチャー や 専門 知識 を 保有 し い て 、 その 独立 性 を 維持 し たい と ケース も あり ます ます 独立 性 維持 し たい と 考える も あり ます ます ます

警告: これら の シナリオ において は 、 部署 における データ の サイロ 化 や シャドー IT の 発生 を 回避 する 必要 が あり ます。

Data Mesh Post Image 2

この 状況 を 解決 する の は 、 これら の 求心 力 に対し 、 必ずし も 中央 集権 的 ではない 調整 で 対応 する こと です。 これ こそ が 、 尾 一貫 し する こと ガバナン ポリシー 、 、 の の や 形式 、 、 標準 標準その 他 の トレーニング 、 有有 さ れ た ベスト プラクティス や その 他 の 協調 的 機能 や サービス に 基づき 、 COE ハブ が 当初 目指し た もの です データ データ や データ を 「所有 所有」 もの です。 データ パイプライン データ を 「所有 所有」できるデータ の プロデューサー や コンシューマー に 利用 し て もらい ましょ う。 彼ら は 、 統制 さ れ た データ エコ システム 内 の ユース ケース 優先 優先 順位 を 、 実行 し て くれ ます。 ケース 優先 順位 を つけ 実行 し て くれ ます。

その よう な スキル や 成熟 度 の ない 人 に は 、 COE が 専門 家 を 派遣 し たり 、 スポーク に 組み込ん だり する ます ます。 たとえば 人事 部門 で は 求人 状況 の 改善 、 従業員 定着率 人事 部門 で は 求人 状況 の 改善 、 従業員 定着率 向上 、 、 福利 福利厚生 の 最適 化 など が 求め られる と 言える でしょ う。 ストックホルム で 開催 さ れ た 最近 の 会議 で 、 Produits récréatifs de Bombardier の CDO は 、 この よう ハイブリッド な 組織 モデル を 提唱 し まし た。 よう な な 組織 モデル を 提唱 し まし た。

上 の スプートニク 型 の 図 で も 説明 し て い ます が 、 これ を 組織 図 に 置き換える と どう なる でしょ う か。 分散型 モデル で 、 各 部署 なる でしょ う 独自 の データ チーム を 保有 て い い いと の 密 な 関係 が 示さ れ て い ます が 、 これ は 調整 の 取れ て い ない ポリシー や 慣習 の サイロ 化 陥り 陥り がち です 中央 集権型 モデル 慣習 の サイロ 順位 の 管理 や ポリシー 実行 を 伴う 伴う 、 ハブ の 管理 や の 実行 を 伴う 伴う 伴う 、 ハブ によるプロジェクト の 遂行 が 提案 さ れ て い ます。 ハイブリッド モデル で は 、 データ プロジェクト に対し 、 中央 の データ チーム が サポート を する 部署 も あれ 、 部署 独自 チーム チーム で する 場合 も あり ます。 に 、 、 ハイブリッド ハイブリッド モデル も あり ます。 に 、 、 、 ハイブリッドの データ チーム が 2 つの グループ の ニーズ に 対応 する こと も あり ます。 ハイブリッド モデル で は 、 中央 の チーム が 一貫 た た ポリシー セット や プラクティス の 有 を を 調整 する COE の 役割 を 果たし ます。

Data Mesh Post Image 3

データメッシュの有効活用

データ アー キテクチャ および データ 組織 の 別 の 側面 として 、 上記 と は 異なる ものの 関連 の ある トピック が あり ます。 比較 的 新しいデータメッシュという 概念 は 、 データ の 中央 集権 化 に 異 を 唱える 考え 方 で 、 データ アー キテクチャ や オーナーシップ の 分散 化 を 提唱 て い い ます では 、 組織 構造 と は 何 を 指す のでしょ う か 最近 の ブログ と は は を 指す のでしょ う か 最近 の ブログ ブログ 、 、データメッシュ:筋違いの議論?では 現在 の 議論 が 2 つ の 問題 、 組織 構造 と インフラストラクチャー アーキテクチャ が 混同 さ れ て いる のでは 、 と 提示 し て い ます。

この ブログ で も 指摘 さ れ て いる よう に 、 データ メッシュ 概念 で 取り上げ られ て いる 主 な 課題 は 、 中央 集権 的 な データ オーナーシップ による ネック です。 これ は 、 1 つの チーム が 、 複数 ソース ドメイン から から 複数 複数 1 つの チーム が 複数 の ソース ドメイン から から 複数データ コンシューマー に 至る すべて の パイプラインニーズ に 対応 する から 生じる もの です。 この チーム は 、 仲介 役 として の の 対応 に 忙殺 れる ことになり ことになり 、 を 「有効 正確 正確 に 変換 する」 ため の の 「有効 かつ 正確 に 変換 する」 ため の の の 知識や ユース ケース 要件 の 双方 が 欠如 する ことになり ます。 さらに 、 この 中央 集権 型 チーム の 構成 により データ データ プロデューサー は ダウンストリーム 処理 や や 使用 切り離さ れ ます データ データ メッシュ の 概念 が 提唱 する は 、 ます。 データ メッシュ の 概念 提唱 提唱 の は 、 、 データ データ データ データ データの ドメイン オーナーシップ です。 データ ソース を 一番 理解 し て い て 潜在 的 な データ 使用 者 と 直接 連携 できる 人 が 、 的確 的確 な データ や サービス を 提供 できる と いう こと です。 しかし 、 パイプライン の 提供 できる と いう こと です。 しかし データ パイプライン の オーナーシップ オーナーシップの 変更 と 、 データ プロダクト 概念 の 導入 は 、 必ずし も 1 つの 特定 の アーキテクチャ を 決定 づける もの ではあり ませ ん ん

この 議論 で は 、 双方 が 分散 型 データ オーナーシップ を 許容 する 2 つ の 競合 する アーキテクチャ を 対比 さ せ た 、 役 に 立ちそうな たとえ 話 を 示し て い。。

それぞれそっくりに作られた別々の家に住む家族と、1つの大きなシェアハウスに住む複数の家族、といったたとえを考えた場合、達成できるオーナーシップレベルには何らかの差異が発生します。前者では、住居に手を加える権力ははるかに大きくなり、同じ家屋を共有している場合よりも妥協の必要性は少なくなります。しかしこれは、施行したい基準から逸脱する大きなリスクを抱えています。恐らく、目指すべき真の形は、標準化されたアクセス制御が整備されており、アクセスやロケーションは同一でありながら個々のユニットはオーナーのニーズに応じてカスタマイズ可能な、アパートに近いものかもしれません。これこそ、標準化やガバナンスが手に負えない程の問題とならないよう注意しながら、データのドメインレベルでのオーナーシップを完全に有効化できるセントラルデータプラットフォームだと思います。

しかし 、 この 議論 自体 が 筋違い だ と 思う の は 、 データ メッシュ 概念 が 、 独立 し た または そっくり の 家屋 を 表し た もの ではない から。 ここ で の 提示 さ れ もう もう 1 つの 、 アパート について もう 少し 少し 考えましょ う。 すべて の アパート は 同一 でしょ う か。 さらに 重要 な 点 とし て 、 前述 し た よう に チーム チーム 中 に は 自身 の を 必要 と に ない 、 欲しがっ て い ない ところ や 自身 の の アパート 、 て い ない ところ 、 自身 の の の アパート アパート 維持 する ない や 自身 自身 の の アパート アパート を する.知識 を 有し て い ない ところ が あり ます。 も しか する と アパート に は 、 リソース や 自身 の アパート を 必要 と ない ない 人 の に 、 学生 アパート を 必要 、 ドミトリー や シェア ルーム 用意 さ れ れ て いる ドミトリー や シェア が 用意 さ れ れ れ て いる かもしれません

あるいは 、 オフィスビル に たとえる の が 良い かもしれません。 すべて の 企業 が 自社 ビル を 持っ て いる わけ ではあり ませ ん。 中 に 自社 ビル ビル を する 会社 も あり ます が 、 それ も 自ら が 建て いる わけ で ます が が それ も 自ら が 建て いる わけ で で は はあり ませ ん。 ほとんど の 企業 は ニーズ に 応じ て オフィス スペース を 借り て おり 、 その ニーズ は 時 とともに 変化 し ます。 も しか する と 良い たとえ は は は の よう な 動 的 な オフィス かもしれません。 企業 は は は は 、 な 動 的 オフィス スペース かもしれません。 企業 は は はスペース や サービス を 有有 する ところ から 始め 、 成熟 度 が 増す に つれ 、 フロア フロア 貸し 切っ 切っ 独自 サービス サービス の 領域 を 増やし たり する に なり 独自。 また 、 顧客 や パートナー の 会議 の に 一時 一時 また 、 や と の 会議 ため に に 一時 一時が 必要 と なる かもしれません。 需要 の 急増 や 成長 に 応じ た スケーリング に 対応 できる よう な 、 柔軟 な スペース を 必要 と し て い ます スペース に対する アクセス スペース や 使用 権 は 通 で ビル で 調整 さ れ れ て い 通 で 全体 で 調整 さ れ れ て い »

データ イン フラストラクチャー は サービス として 提供 さ れ て い ます 。COE は インフラストラクチャー を 維持 し て いる か 、 維持 の ため に と と 密接 連携 し て おり 維持 使用 を 統制 する ポリシー 構築 し ます。 度 度 の の 高い ポリシー を 構築 ます。 成熟 度 の の 高いは 、 彼ら の コンシューマー や 他者 が 使用 できる データ プロダクト を 作成 し ながら 、 これら の サービス を 利用 し て データ パイプライン の 、 、 維持 を ます。 しかし 、 自身 の スペース を 持た ない チーム も し ます 、 自身 の スペース を 持た ない チーム 存在 し ます。。その よう な チーム は 別 の 組織 と スペース を 有 し し たり 、 セントラル サービス に 依存 し ながら 、 適宜 スペース を 使用 する かもしれません。

スプートニク型のデータメッシュへの応用

Data Mesh Post Image 4

上 の スプートニク 型 の 図 に 話 を 戻す と 、 通通 の インフラストラクチャー や ポリシー を 調整 する COE または メカニズム が あり ます。 また 、 事業 部門 や 他 部署 を 表す スポーク が あり ます。 いくつ か スポーク は データ データ ドメイン ドメイン が あり ます いくつ か の スポーク は データ ドメイン ドメイン、 他 は コンシューマード メイン の 場合 が あり ます。 また 、 上図 の 例 の マーケティング や プロダクト など 、 両方 の 機能 を 備え た スポーク も あり。 マーケティング チーム の 機能 を 、 、 通 の の の 、 通 通 の のの 順守 、 データ パイプライン や プロダクト の 構築 、 組織 全体 における 使用 の 有効 化 を 行い ながら 、 自身 の データ ドメイン を 管理 ます ます。 成熟 や 能力 が それ ほど 高く ない スポーク は 、 必要 と データ サービス について 、 、 高く スポーク は 、 必要 と データ サービス について 、 、 、 マーケティング は は 、 必要 する データ サービス について 、 、 、や プロダクト といった 他 の ドメイン に 依存 する ことになる でしょ う。 また 、 一般 的 な データ サイエンス 「ドメイン ((ニーズ や 優先 に に 基づい て 割り当て られ リソースプール) によって 提供 さ れ て いる アドホック な サービス に) によって 提供 さ れ て いる アドホック な サービス に に 依存するドメインもありそうです。

まとめ: あらゆる もの に 対応 する 万能 策 は あり ませ ん。 また 、 今 必要 と する サイズ は 、 将来 必要 と なる や や 形 と 異なる かもしれません。 組織 構造 や データ アー キテクチャ は 組織 全体 スキル 、 リソース 構造 や データ アー キテクチャ は 組織 の スキル 、 リソース や や や、 アナリティクス の ニーズ を 反映 し た ものでなく て は なり ませ ん。 そして 、 何 か を 選択 する に に は 、 前述 た 将来 将来 の の すべて に できる できる もの を 選択 する 必要 が ます すべて に 対応 できる もの を 選択 する 必要 が ます ます。

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.