Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional Korean Version) - Databricks-Certified-Data-Engineer-Professional Korean Exam Practice Test

데이터 엔지니어링 팀이 Databricks 프로젝트에서 협업하고 있는데, 각 팀원은 변경 사항을 메인 브랜치에 병합하기 전에 코드를 독립적으로 개발하고 테스트해야 합니다.
그들은 의도치 않은 덮어쓰기나 브랜치 전환 문제를 방지하는 동시에 모든 작업이 버전 관리되고 CI/CD 파이프라인에 통합될 수 있도록 보장하고자 합니다.
데이터 엔지니어는 어떻게 협업을 달성해야 할까요?

상위 소스는 Parquet 데이터를 시간 단위로 현재 날짜로 명명된 디렉터리에 배치 형식으로 저장합니다. 야간 배치 작업은 날짜 변수에 지정된 날짜의 전날 데이터를 모두 가져오기 위해 다음 코드를 실행합니다.

customer_id와 order_id 필드가 각 주문을 고유하게 식별하는 복합 키 역할을 한다고 가정합니다.
상위 시스템에서 단일 주문에 대해 몇 시간 간격으로 중복 항목이 생성되는 경우가 있는 것으로 알려져 있다면, 다음 중 어떤 설명이 맞습니까?

유출은 다양한 대규모 변혁을 실행하는 과정에서 발생합니다. 하지만 유출을 진단하려면 핵심 지표를 사전에 적극적으로 찾아야 합니다.
Spark UI에서 파티션이 디스크로 스필링되고 있음을 나타내는 주요 지표 두 가지는 어디에 있습니까?

Delta Lake 테이블은 사용자 콘텐츠 게시물에 대한 메타데이터를 나타내며 다음과 같은 스키마를 가집니다.
사용자 ID (LONG), 게시물 텍스트 (STRING), 게시물 ID (STRING), 경도 (FLOAT)
위도 FLOAT, 게시 시간 TIMESTAMP, 날짜 DATE
이 테이블은 날짜 열을 기준으로 파티션되어 있습니다. 다음 필터를 사용하여 쿼리를 실행합니다.
경도 < 20 및 경도 > -20
데이터 필터링 방법을 설명하는 문장은 무엇입니까?

예측 최적화는 Unity 카탈로그 관리 테이블에 대해 기본적으로 활성화된 Databricks의 자동화된 서비스입니다. 이 서비스는 델타 테이블을 지속적으로 최적화하여 최적의 성능과 비용을 보장함으로써 델타 테이블을 관리하는 데 도움을 줍니다. 예측 최적화는 델타 테이블을 관리하기 위해 어떤 두 가지 작업을 실행합니까? (두 가지를 선택하십시오.)

데이터 엔지니어링 팀은 Delta Lake 테이블의 값을 모니터링하기 위해 Databricks SQL 쿼리와 알림을 구성했습니다. recent_sensor_recordings 테이블에는 최근 5분 동안의 기록에 대한 센서 ID, 타임스탬프 및 온도가 포함되어 있습니다.
아래 쿼리는 알림을 생성하는 데 사용됩니다.

해당 쿼리는 1분마다 갱신되도록 설정되어 있으며 항상 10초 이내에 완료됩니다. 평균 온도(온도)가 120°F(섭씨 약 38도)를 초과하면 알림이 발생하도록 설정되어 있습니다. 알림은 최대 1분 간격으로 전송됩니다.
이 알림이 3분 동안 연속으로 발생하다가 멈춘다면, 다음 중 어떤 설명이 반드시 참이어야 합니까?

한 회사가 Databricks의 기존 작업에서 Auto Loader를 사용하여 외부 소스에서 반정형 JSON 파일을 처리합니다. 간혹 중요한 필드가 null이거나, 데이터 유형이 잘못되었거나, 예상치 못한 중첩 스키마 변형이 있는 레코드가 도착합니다. 엔지니어는 형식이 잘못되었거나 규격을 준수하지 않는 레코드가 오류 없이 삭제되지 않고 별도의 격리 테이블에 저장되도록 해야 합니다. 파이프라인은 정상적인 레코드를 Bronze 레이어로 계속 처리하여 작업이 실패하지 않도록 해야 하며, 배치 및 스트리밍 데이터 수집을 모두 지원해야 합니다.
데이터 엔지니어는 불량 레코드를 자동으로 격리 델타 테이블로 보내는 동시에 정상 레코드는 추가 처리를 위해 브론즈 레이어로 수집하는 견고한 데이터 수집 패턴을 구축해야 합니다.
이 데이터 수집 아키텍처에서 격리 메커니즘을 구현하는 접근 방식은 무엇입니까?

쿼리 실행 시간이 너무 오래 걸립니다. Spark UI를 조사한 결과, 데이터 엔지니어는 상당한 양의 디스크 스필이 발생했음을 발견했습니다. 사용 중인 컴퓨팅 인스턴스의 코어 대 메모리 비율이 비정상적입니다.
1:2. 데이터 엔지니어가 데이터 유출을 최소화하기 위해 취해야 할 두 가지 단계는 무엇입니까? (두 가지를 선택하십시오.)

날씨 기록을 저장하는 Delta 테이블은 날짜별로 분할되어 있으며 다음과 같은 스키마를 가지고 있습니다.
날짜(DATE), 장치 ID(INT), 온도(FLOAT), 위도(FLOAT), 경도(FLOAT)
북극권 내의 모든 기록을 찾으려면 아래 필터를 사용하여 쿼리를 실행합니다.
위도 > 66.3
다음 중 Delta 엔진이 로드할 파일을 식별하는 방법을 설명하는 문장은 무엇입니까?

다음 중 Delta Lake Auto Compaction을 설명하는 문장은 무엇입니까?

데이터 엔지니어가 의료비 청구 데이터를 처리하기 위해 Lakeflow Declarative Pipelines 파이프라인을 구축하고 있습니다. 메타데이터 JSON 파일에는 다음을 포함한 여러 테이블에 대한 데이터 품질 규칙이 정의되어 있습니다.
{
"주장": [
{"name": "valid_patient_id", "constraint": "patient_id IS NOT NULL"},
{"name": "음수가 아닌 금액", "constraint": "청구 금액 >= 0"}
]
}
파이프라인은 규칙을 하드코딩하지 않고 이러한 규칙을 클레임 테이블에 동적으로 적용해야 합니다.
데이터 엔지니어는 어떻게 이를 달성해야 할까요?

데이터 엔지니어링 팀은 매일 밤 일괄 업데이트를 통해 집계 통계 테이블을 관리합니다. 이 테이블에는 전날 총 매출액과 함께 지난 7일간, 연간 누계, 분기 누계 등 다양한 기간의 총계 및 평균 매출액이 포함됩니다. 이 테이블의 이름은 store_saies_summary이며 스키마는 다음과 같습니다.

daily_store_sales 테이블에는 store_sales_summary를 업데이트하는 데 필요한 모든 정보가 포함되어 있습니다.
이 테이블의 스키마는 다음과 같습니다.
store_id INT, sales_date DATE, total_sales FLOAT
daily_store_sales 테이블이 Type 1 테이블로 구현되어 있고, total_sales 열이 수동 데이터 검토 후 조정될 수 있는 경우, store_sales_summary 테이블에 정확한 보고서를 생성하는 가장 안전한 방법은 무엇일까요?

신입 데이터 엔지니어가 Lakehouse의 silver_device_recordings라는 테이블에 대한 로직을 구현하는 작업을 진행하고 있습니다. 원본 데이터는 고도로 중첩된 JSON 구조에 100개의 고유 필드를 포함하고 있습니다.
silver_device_recordings 테이블은 여러 필드를 기준으로 매우 선택적인 조인을 수행하는 데 사용될 것이며, 머신 러닝 팀에서도 관련 필드를 기준으로 필터링하는 데 활용될 것입니다. 총 15개의 필드가 필터링 및 조인 로직에 자주 사용될 것으로 예상됩니다.
데이터 엔지니어는 테이블 스키마를 선언하기 전에 이러한 중첩 필드를 처리하는 최적의 접근 방식을 결정하려고 합니다.
다음 중 Delta Lake와 Databricks에 대한 정보를 정확하게 제시하여 그들의 의사 결정 과정에 영향을 미칠 수 있는 것은 무엇입니까?

데이터 엔지니어가 Unity Catalog의 finance 스키마에 있는 customer_data 테이블을 관리하고 있는데, 이 테이블에는 사회보장번호(SSN)와 신용점수(Credit_Score) 같은 민감한 필드가 포함되어 있습니다. 인턴 그룹은 마스킹된 값만 볼 수 있어야 하고, 분석가 그룹은 자신이 담당하는 지역의 행만 접근할 수 있어야 합니다. 데이터 엔지니어는 데이터 중복 없이 사용자 역할과 지역에 따라 접근을 제한해야 합니다. 이러한 보안 정책을 어떻게 시행해야 할까요?