DEA-C01 D1-01 バッチデータ取り込み設計
29 問
DEA-C01 D1-02 ストリーミングデータ取り込み設計
26 問
DEA-C01 D1-05 オーケストレーションとワークフロー管理
26 問
DEA-C01 D2-03 データカタログとスキーマ管理
23 問
DEA-C01 D3-01 データパイプラインの運用自動化
23 問
DEA-C01 D3-03 データパイプラインのトラブルシューティングと障害対応
23 問
DEA-C01 D1-06 データ品質チェックと変換のべき等性
22 問
DEA-C01 D4-01 データアクセス制御とIAM設計
21 問
DEA-C01 D3-02 データパイプラインのモニタリングとログ
21 問
DEA-C01 D4-04 個人情報・機密データの取り扱い
21 問
DEA-C01 D2-01 ストレージソリューションの選択
21 問
DEA-C01 D2-04 データライフサイクル管理
20 問
DEA-C01 D2-02 データモデリングとスキーマ設計
20 問
DEA-C01 D1-04 データ変換の言語・フレームワーク選択
20 問
DEA-C01 D4-02 データ暗号化と保護
19 問
DEA-C01 D4-03 データガバナンスとコンプライアンス
18 問
DEA-C01 D1-03 データ変換とETL処理の設計
18 問
DEA-C01 D3-04 データ分析基盤の運用サポート
14 問
DEA-C01 D2-05 データ形式の選択
13 問
問1. 販売管理RDBから毎晩全件をAmazon S3へ取り込みます。取り込み時に複数テーブルを結合し、不要列の除外、日付形式の統一、不正レコードの隔離、Parquet形式への変換を行う必要があります。継続的な変更反映は不要で、変換ロジックの変更にも対応しやすい方式を選ぶ場合、どの構成が適切ですか。
- AWS GlueジョブからJDBCでRDBを読み取り、結合、検証、列変換、Parquet形式への変換を一連のETL処理として実装する
- AWS DMSのFull Loadを使い、RDBの全テーブルを変換せずにAmazon S3へ移送する
- AWS DMSのFull Load + CDCを使い、継続的な変更反映も含めてAmazon S3へ複製する
- AWS Glue Crawlerを使い、RDBのスキーマを検出してAmazon S3上のParquetデータを生成する
問2. ある企業は、社内RDBの既存売上データを初回に全件取り込み、その後の変更を継続的にAmazon S3へ反映したいと考えています。また、営業SaaSからはREST API経由で週次データを取得し、Amazon S3に届く取引先CSVと売上データを結合して品質検証します。各ソースの特性に適した構成はどれですか。
- RDBはAWS DMSのFull Load + CDCでS3へ複製し、SaaS APIのデータはAWS GlueのREST API接続などでRaw領域へ取得した後、Glue ETLジョブで取引先CSVおよび売上データと結合して品質検証する
- RDB、SaaS API、取引先CSVをすべて1つのGlueジョブで処理し、Glue Job Bookmarkだけを使ってRDBの更新と削除を追跡する
- RDBとSaaS APIをAWS DMSでS3へ複製し、Glue Crawlerで取引先CSVとの結合と品質検証を実行する
- RDBは毎週全件抽出し、SaaS APIはAWS DMSで取り込み、取引先CSVはS3 Lifecycleによって売上データへ統合する
問3. 営業SaaSのREST APIから取得する日次データと、取引先から届く日次CSVをAmazon S3に集約し、翌朝までに分析用Parquetへ整形します。APIの一時的な失敗やレート制限に対する再試行と、変換処理の再実行を独立して行えるようにし、受信した原本は監査と再処理のため保持する必要があります。この要件を満たす設計はどれですか。
- SaaS APIの取得、CSVの読み込み、検証、Parquet変換を1つのGlueジョブで実行し、正常に変換できたデータだけをS3へ保存する
- Step FunctionsでSaaS API取得処理の再試行とバックオフを制御し、API応答とCSVをバッチID付きでS3のRaw領域へ保存する。別のGlue ETLジョブでRawデータを検証し、Curated領域へParquet形式で出力する
- SaaS API用とCSV用に別々のGlueジョブを作成し、それぞれで取得からParquet変換まで実行した後、処理済みデータだけをS3へ保存する
- API応答とCSVをS3へ保存してGlue CrawlerでData Catalogに登録し、RawファイルをAthenaから直接参照することで変換処理を省略する