Data Quality Checklist
ตรวจข้อมูลก่อนส่งต่อ เพื่อให้ pipeline เชื่อถือได้
กำหนดความคาดหวัง
เริ่มจาก schema, ชนิดข้อมูล, ค่าที่ห้ามว่าง และความเป็นเอกลักษณ์ของ key ข้อกำหนดควรมาจากการใช้งานจริงและมีเจ้าของที่ชัดเจน
ตรวจแต่ละจุดเปลี่ยน
ตรวจจำนวนแถว ค่าที่หาย และช่วงข้อมูลก่อนและหลัง transformation เพื่อค้นหาการสูญหายหรือการเพิ่มข้อมูลซ้ำโดยไม่ตั้งใจ
ออกแบบเมื่อข้อมูลผิด
กำหนดว่าจะหยุด pipeline กักข้อมูลไว้ตรวจสอบ หรือแจ้งเตือนตามระดับความรุนแรง เก็บข้อมูลที่ช่วยตรวจสอบย้อนกลับโดยไม่บันทึกข้อมูลส่วนบุคคลเกินจำเป็น
PYTHON
checks = {
'unique_id': True,
'required_columns': ['id', 'event_time'],
'max_null_ratio': 0.01,
}เชื่อมความรู้กับการลงมือทำ
กลับไปทดลองแนวคิดนี้ พร้อมแบบฝึกหัดและคำอธิบายในห้องเรียน
เปิดบทเรียนที่เกี่ยวข้อง