問1. 同じ本番ワークスペースで、毎時の取り込みSparkジョブと複数の変換ノートブックを実行する。全処理で同じSparkランタイムとライブラリを使い、負荷試験で決めた同一のノード構成とプール上限を全処理に適用して構成差異を抑えたい。処理ごとに異なる計算構成を必要とする例外はなく、セッション起動の速さより再現性を優先する。この要件に最も適した設定はどれか。
- ランタイムとライブラリを定義したEnvironmentをWorkspace defaultに設定し、検証済みのCustom Poolをワークスペース既定プールにして、アイテム単位の計算構成を無効化する
- ランタイムとライブラリを定義したEnvironmentをWorkspace defaultに設定するが、アイテム単位の計算構成を有効化し、各処理でプールやドライバー・エグゼキューター構成を変更できるようにする
- 取り込みと各変換処理ごとに別々のEnvironmentとCustom Poolを作成し、ランタイム、ライブラリ、ノード構成を処理単位で最適化する
- Starter Poolをワークスペース既定プールにし、アイテム単位の計算構成を無効化して、検証済みのCustom Poolで定義したノード構成を使わず起動時間を最優先する
問2. 同一ユーザー境界から実行される複数のNotebook処理を、同じFabricワークスペースでピーク時に多数並列実行する。共有対象のNotebookは同じ既定Lakehouse、同じSpark計算設定、同じライブラリを使用し、処理時間は数分程度で相互に独立している。一方、一部の長時間処理は専用の計算構成を必要とする。開始待ち時間と容量効率を抑えつつ、専用計算が必要な処理の影響を分離する設計として最も適切なものはどれか。
- 互換性のある短時間NotebookはHigh Concurrencyを有効にして同じsession tagで共有セッションへまとめ、専用の計算構成が必要な長時間Notebookは別の計算構成を使って別セッションで実行する
- すべてのNotebookをStandardセッションで実行し、同じ既定Lakehouseや計算設定であっても処理ごとに新しいSparkセッションを必ず作成する
- すべてのNotebookを同じHigh Concurrencyセッションへ強制的にまとめ、既定Lakehouseや計算設定が異なるNotebookも同じセッションで実行する
- High Concurrencyを無効化し、ピーク時の並列実行を避けるためすべてのNotebookを順番に実行する
問3. 本番ワークスペースで、独立した短時間のNotebookジョブ8件を平日朝にData Factoryパイプラインから実行する。負荷試験では4件までの同時実行なら各ジョブの処理時間が安定し、8件を一斉に開始するとリソース競合で全体が遅くなることが分かっている。8件をできるだけ早く完了させつつ、同時実行を最大4件に制御したい。最も適切なオーケストレーション設計はどれか。
- ForEachアクティビティを並列実行にし、Batch countを4に設定して、その内側でNotebookアクティビティを実行する
- Sparkワークスペースにジョブ件数ベースの同時実行上限4を設定し、5件目以降はSparkの設定だけで必ず待機させる
- 8件すべてのNotebookアクティビティを同時に開始し、Fabric Sparkが容量を完全に使い切った場合にだけ発生する自動キューイングへ任せる
- ForEachアクティビティをSequentialに設定し、常に1件ずつNotebookを実行する