Databricks Databricks-Certified-Data-Engineer-Professional日本語 試験概要:

Databricks Databricks-Certified-Data-Engineer-Professional日本語 試験シラバストピック:

Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional日本語版) 認定 Databricks-Certified-Data-Engineer-Professional日本語 試験問題：

1. データエンジニアリングチームのメンバーが、より大規模なデータパイプラインの一部としてスケジュール設定したいという短いノートブックを提出しました。以下のコマンドは、提示されているとおりに実行した場合に論理的に正しい結果を生成するものと仮定します。

ジョブとしてスケジュールする前にノートブックから削除する必要があるコマンドはどれですか?

A) コマンド 5
B) コマンド6
C) コマンド2
D) コマンド3
E) コマンド4

2. Databricksジョブは3つのタスクで構成されており、それぞれがDatabricksノートブックです。タスクAは他のタスクに依存しません。タスクBとCは並列実行され、それぞれがタスクAに対して順次依存関係を持ちます。
スケジュールされた実行中にタスク A が失敗した場合、この実行の結果を説明するステートメントはどれですか。

A) タスク B と C はスキップされます。タスク A で表現された一部のロジックは、タスクが失敗する前にコミットされている可能性があります。
B) すべてのタスクは依存関係グラフとして管理されるため、すべてのタスクが正常に完了するまで、変更は Lakehouse にコミットされません。
C) すべてのタスクが正常に完了しない限り、変更は Lakehouse にコミットされません。タスク A が失敗したため、すべてのコミットは自動的にロールバックされます。
D) タスク B と C は構成どおりに実行しようとします。タスク A で行われた変更は、タスクの失敗によりロールバックされます。
E) タスク B と C はスキップされます。ステージの失敗のため、タスク A は変更をコミットしません。

3. データエンジニアは、Lakeflow Spark Declarative Pipelines で顧客データパイプラインを構築しています。ソースは、顧客レコードの挿入、更新、削除を含む、保存期間が限定されたクラウドベースのイベントストリームです。これらの変更は、SCD タイプ 1 テーブルをターゲットテーブル customer_dim として維持するために、AUTO CDC INTO 構文を使用して適用されます。データエンジニアは、customer_dim テーブルからストリームを取得し、更新イベントと削除イベントのみに反応してデータを増分処理するダウンストリームジョブをどのように構築すればよいでしょうか。

A) SCD 1 として保存する場合、AUTO CDC INTO のターゲットには更新と削除が含まれます。これらの操作により、customer_dim からのストリーミングが失敗する可能性があります。代わりに、元のソースから別のストリームを構築してください。
B) customer_dim テーブルからのストリーミングは、SCD 2 保持の場合にのみ可能です。
C) customer_dim テーブルから変更データ フィードを読み取り、フィルターを適用して変更イベントを段階的に処理します。
D) 更新および削除中にパイプラインが壊れないようにするには、customer_dim からのストリーミング中に ignoreChanges フラグを使用します。

4. 本番環境にデプロイされた構造化ストリーミングジョブにより、クラウドストレージのコストが予想以上に高くなっています。現在、通常の実行では、各マイクロバッチのデータが3秒未満で処理されています。レコード数0のマイクロバッチが1分間に少なくとも12回処理されています。ストリーミング書き込みは、デフォルトのトリガー設定を使用して構成されています。本番環境ジョブは現在、他の多くのDatabricksジョブと共に、インスタンスプールがプロビジョニングされたワークスペースでスケジュールされており、バッチ実行を含むジョブの起動時間を短縮しています。
他のすべての変数を一定に保ち、レコードを 10 分以内に処理する必要があると仮定すると、どの調整が要件を満たすでしょうか。

A) トリガー 1 回オプションを使用し、10 分ごとにクエリを実行するように Databricks ジョブを構成します。このアプローチにより、コンピューティングとストレージの両方のコストが最小限に抑えられます。
B) トリガー間隔を 3 秒に設定します。デフォルトのトリガー間隔では、バッチあたりのレコード消費量が多すぎるため、ディスクへの書き込みが発生し、ボリューム コストが増加する可能性があります。
C) チェックポイント ディレクトリを変更せずにトリガー間隔を変更することはできないため、並列処理を最大化するためにシャッフル パーティションの数を増やします。
D) トリガー間隔を 10 分に設定します。各バッチはソース ストレージ アカウント内の API を呼び出すため、トリガー頻度を最大許容しきい値まで下げると、このコストが最小限に抑えられます。
E) トリガー間隔を 500 ミリ秒に設定します。トリガー間隔を小さく、かつゼロ以外の値に設定すると、ソースが頻繁にクエリされなくなります。

5. データ エンジニアは、ひどく偏った国別の履歴パーティションを持つ Delta テーブルを継承します。
クエリは多くの場合、高カーディナリティの customer_id でフィルタリングされ、時間の経過とともにディメンション間で変化します。エンジニアは、混乱を招く完全な書き換えを回避し、偏ったパーティションの影響を軽減し、アクセスパターンの変化に応じて優れたクエリパフォーマンスを維持する戦略を求めています。データエンジニアが実行すべき2つのアクションはどれですか？(2つ選択してください。)

A) OPTIMIZE table_name を定期的に実行します。
B) 最適化された書き込みのみに依存します。Databricks は時間の経過とともにパーティション分割をクラスタリングに自動的に置き換えます。
C) 静的パーティショニングからリキッド クラスタリングに切り替えて、customer_id などの一般的なフィルターを反映する初期クラスタリング キーを選択します。
D) 既存のパーティションを保持し、ビンパッキング OPTIMIZE のみに依存します。多次元フィルターでは ZORDER とクラスタリングは不要です。
E) メンテナンスのオーバーヘッドを回避するためにデータ スキップ統計を無効にし、代わりに適応型クエリ実行に依存します。

質問と回答：