データエンジニアは、Lakeflowの宣言型パイプライン技術を活用し、Auto Loaderを使用してS3内のJSONファイルから取り込んだリアルタイムのトラックテレメトリデータを処理するシステムを設計しています。データには、truck_id、timestamp、location、speed、fuel_levelが含まれます。システムは、以下の2つのユースケースをサポートする必要があります。
- 最新の位置、速度、および
運用チームの truck_id ごとの fuel_level。
- 総走行距離と平均燃料消費量の毎日の集計レポート
管理チームの truck_id ごとの効率。
これらの要件を満たすために、データ エンジニアは Lakeflow 宣言型パイプラインのストリーミング テーブルとマテリアライズド ビューにどのアプローチを使用する必要がありますか?

• A. 生のテレメトリデータを取り込んで保存するためのストリーミングテーブルを定義し、truck_idごとの毎日の集計距離と燃費を計算するストリーミングテーブルを作成します。リアルタイム監視のために、truck_idごとの最新の位置情報、速度、燃料レベルを計算するマテリアライズドビューを作成します。
• B. 生のテレメトリ データを取り込んで保存するためのストリーミング テーブルを定義し、リアルタイム監視のために truck_id ごとに最新の位置、速度、燃料レベルを計算するマテリアライズド ビューを作成します。
  レポート用に、truck_id ごとの毎日の集計距離と燃費を計算する別のマテリアライズド ビューを作成します。
• C. 生のテレメトリデータを取り込んで保存するためのストリーミングテーブルを定義し、さらに、最新の位置情報、速度、燃料レベルをtruck_idごとに段階的に計算してリアルタイム監視を行うストリーミングテーブルを作成します。レポート用に、truck_idごとの毎日の集計距離と燃費を計算するマテリアライズドビューを作成します。
• D. 生のテレメトリ データを取り込んで保存するためのマテリアライズド ビューを定義し、リアルタイム監視用に truck_id ごとの最新の位置、速度、燃料レベルを計算するストリーミング テーブルを作成します。レポート用に truck_id ごとの毎日の集計距離と燃料効率を計算する別のマテリアライズド ビューを作成します。

ビジネスインテリジェンスチームは、小売業のストーリーに関する様々なサマリー指標を追跡するためのダッシュボードを設定しています。これには、前日の総売上に加え、様々な期間の合計と平均が含まれます。このダッシュボードに必要なフィールドのスキーマは次のとおりです。

需要予測のために、Lakehouseには、ほぼリアルタイムで増分更新されるすべての明細別売上の検証済みテーブルが含まれています。このテーブルはproducts_per_orderという名前で、以下のフィールドが含まれています。

長期的な売上動向に関するレポートは変動が少ないため、新しいダッシュボードを使用するアナリストはデータを1日に1回更新するだけで済みます。ダッシュボードは通常の営業日を通して多くのユーザーからインタラクティブにクエリされるため、結果が迅速に返され、各マテリアライズに関連する計算量全体が削減されます。
起こりうるコストを制御および制限しながら、エンドユーザーの期待を満たすソリューションはどれですか?

• A. 必要な値を各更新で上書きされるテーブルとして保存するように夜間バッチ ジョブを構成して、ダッシュボードに入力します。
• B. Structure Streaming を使用して、Databricks ノートブック内の products_per_order テーブルに対してライブ ダッシュボードを構成します。
• C. products_per_order テーブルに対してビューを定義し、このビューに対してダッシュボードを定義します。
• D. Delta Cache を使用して、products_per_order テーブルをメモリ内に保持し、クエリごとにダッシュボードを高速化します。
• E. ダッシュボードが更新されるたびに、products_per_order に対して増分読み取りを実行するように webhook を構成します。

大規模な分散型 Databricks バッチおよびストリーミング パイプラインのすべてのノードにわたって一貫した PII マスキングを確保する際の主な技術的課題は何ですか。

• A. マスキング関数は、Unity Catalog を通じて標準化および管理され、データの不整合を回避するためにすべての関連データセットに強制適用される必要があります。
• B. 動的データ マスキングは保存時にのみ適用されるため、クエリのパフォーマンスには影響しません。
• C. Databricks のネイティブ マスキングは、すべての下流の外部 Databricks システムと自動的に同期します。
• D. PII マスキングは直接識別子に対してのみ必要です。

Databricks で最も一般的なデータの場所の 2 つは、DBFS ルート ストレージと、dbutils.fs.mount() でマウントされた外部オブジェクト ストレージです。
次の記述のうち正しいものはどれですか?

• A. DBFS は、Unix ファイル システムと同様の構文と保証を使用して、オブジェクト ストレージに保存されているファイルとユーザーが対話できるようにするファイル システム プロトコルです。
• B. マウントされたストレージ ボリュームには完全なパブリック読み取りおよび書き込み権限が必要であるため、DBFS ルートはデータを保存する最も安全な場所です。
• C. デフォルトでは、DBFS ルートとマウントされたデータ ソースの両方にアクセスできるのはワークスペース管理者のみです。
• D. DBFS ルートはドライバーに接続された一時的なブロック ボリュームにファイルを保存し、マウントされたディレクトリはセッション間で保存されたデータを常に外部ストレージに保持します。
• E. Databricks ノートブックで %sh を使用する場合、DBFS ルートにもマウントされたストレージにもアクセスできません。

上流システムは、特定のデータバッチの日付をパラメータとしてDatabricks Jobs APIに渡すように構成されています。スケジュール対象のノートブックは、このパラメータを使用して、以下のコードでデータを読み込みます。
df = spark.read.format("parquet").load(f"/mnt/source/(date)")
上記のコード ブロックで使用されている日付 Python 変数を作成するには、どのコード ブロックを使用する必要がありますか?

• A. date = spark.conf.get("date")
• B. date = dbutils.notebooks.getParam("date")
• C. import sys
  date = sys.argv[1]
• D. dbutils.widgets.text("date", "null")
  date = dbutils.widgets.get("date")
• E. input_dict = input()
  date= input_dict["date"]