Blog de Snowflake

Blog de Snowflake

注:本記事は(2021年12月7日)に公開された(Simplifying Use of External APIs with Request/Response Translators)を翻訳して公開したものです。

Snowparkは その 発表 以来 、 大きな 反響 と 関心 を 集め て い ます 。Snowpark とは 、 データ エンジニア 、 データ サイエンティスト 、 データ デベロッパー が それぞれ が 好む 言語 で コーディング できる 開発 者 フレーム ワーク であり 、 パイプライン 、 機械 学習 ((開発 開発 者 フレーム ワーク 、 パイプライン パイプライン 機械 学習 ((ML)ワーク フロー 、 データ アプリケーション の より 迅速 かつ より 安全 な 実行 が 可能 です 。Snowpark の 多く の 部分 は プレビュー 段階 です が 、エクスターナルファンクションは今年の初めに、一般公開に至りました。

エクスターナル ファンクション により 、 開発 者 は SnowFlake SQL クエリ 内 から 外部 API や リモート サービス を 呼び出し 、 レスポンス を クエリ 結果 に 取り込む ことができ ます。 データ の エクスポート や インポート が が 不要 な ため 、 これら は の エクスポート や インポート が 不要 な ため 、 これら は は Snowflake の 機能 機能 であるか の よう に 実行 さ れ ます。 これ により 、 複雑 な 変換 を 必要 と する データ パイプライン の 構築 や カスタム コード や パーティ サービス サービス の を 必要 と する 拡張 が 大幅 に 簡素 化 さ れ。 今回 は 拡張 が が に 簡素 化 さ れ。 今回 は は 、 、リ ク エ ス ト / レ ス ポ ン ス ト ラ ン ス レ ー タ ーに対する パブリック プレビュー 版 サポート が 提供 開始 と なっ た こと を お知ら せいたし ます。 これ により 、 外部 外部 API と 連携 する こと で 、 スピンアップ や 中間 の データ トランスレーション が 不要 と と 、 エクスターナル エクスターナル ファンクション 使用 が さらに 化 化 さ さ なり 、 エクスターナル ファンクション の 使用 さらに 簡素 化 さ さ さます。

エクスターナル ファンクション 使用 時 は 、 リモート サービス や サード パーティ API の 呼び出し は 、 サポート さ れ て いる クラウドネイティブ の プロキシ サービス ((外部 サービス API と 連動 する よう に 設定 プロキシ サービス た (外部 サービスは送信されたデータを、Flocon de neigeデータ形式から 外部 サービス で 求め られ て いる データ 形式 へ 、 または その 逆 方向 に 変換 し なければならない こと が あり ます。 たとえば 、 検出 検出 の ため に Amazon Comprection の よう な 外部 サービス を 使用 する 場合 、 データ 形式 変換 変換 変換 する する する を 使用 する 場合 データ 形式 を 変換 変換 するPour AWS Lambda

図1.トランスレーター を 使用 せ ず 、 エクスターナル ファンクション を 使用 し た サード パーティ API を 呼び出す ソリューション ソリューション アーキテクチャ

しかし 、 データ の フォーマット の ため に 中間 の サード パーティ の コンピュート イン フラストラクチャー を 設定 し 管理 する こと は 、 コンピュート ならび に ネットワーク 管理 上 の ヘッド を 生み出し 、。 トランスレーター によって エクスターナル ファンクション が 使用 し リモート サービス サービス により により 送受信 ファンクション が 使用 し リモート サービス サービス サービス により形式の変換が容易になることで、ソリューションアーキテクチャが簡素化され、この問題が蕏チャが簡素化され、この問題が蕏

本機能を使用すると、便利になる機能:

  • flocon de neigeリクエストトランスレーター
  • リモートサービスのネイティブ出力形式からSnowflake形式へのデータを変換(レスポンストランスレーター

R1kQ2gHCqW8tNm08vso6hgFwIc9y1M6gm3UdbhUq1 pFJySZkzik z9BjNXpVFoc4c7r

図2.トランスレーター と エクスターナル ファンクション を 使用 し た サード パーティ API を 呼び出す 簡素 化 さ れ た ソリューション ソリューション アーキテクチャ

リクエスト / レスポンストランスレーター は Javascript ユーザ 定義 関数 (UDF) として 実装 さ れ 、 エクスターナル ファンクション に リンク する ことができ ます。 ほとんど の 場合 に 、 一 組 の UDF を 書き込み ます 。1 つは 送信 さ れ て リクエスト を 変換 変換 する するため で 、 もう 1 つは レスポンス を 変換 する ため です 。SNOWFLAKE は これら の 機能 を 各 エクスターナル ファンクション コール の 一部 として 呼び出し ます。 具体 的 に は 、 Snowflake は リクエストトランスレーター 機能 を 呼び出し 、 それ を Snowflake 形式 の データに 受け渡し 、 返さ れ た データ を 受け取っ て リモート サービス に 送信 し ます。 同様 に 、 リモート サービス が データ を 返し た 後 、 Snowflake は レスポンストランスレーター 機能 を 呼び出し 、 Snowflake で の 読み取り が 可能 な 形式 変換 し 直し 直し 直し 直し ます の 読み取り が 可能 な に 変換 し 直し 直し 直し ます ます 読み取り が 可能 な 形式 変換 し し 直し 直し。 ユーザー 視点 で 見る と 、 リクエスト / レスポンストランスレーター を 使用 し た エクスターナル ファンクション の 呼び出し は 、 他 の エクスターナル ファンクション の 呼び出し と 全く 同じ です。 ただし 維持 が 必要 な インフラストラクチャー や サービス の 数 は 減少 、 データ 必要 な インフラストラクチャー や サービス の 数 は し 、 データ データ パイプライン パイプライン パイプラインはさらに簡素化されます。より詳しい情報は機能のドキュメンテーションを参照ください。皆様からのフィードバックをお待ちしています。

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.