ลบ Deprecated Models ที่ไม่ใช้งานแล้วใน Data Warehouse

zkan · July 17, 2022, 2:20am

ใน dbt เราจะมีแต่คำสั่งสร้างพวก models ต่าง ๆ ทีนี้เวลาเราสร้างไปเยอะ ๆ เราก็จะหาไม่ค่อยเจอล่ะว่ามี model ไหนใช้อยู่บ้าง อยากจะลบก็ไม่กล้าลบ แหะ ๆ

วิธีหนึ่งคือเราอาจจะเขียน exposures ไว้ แล้วก็คอยมาส่องดู แต่ก็อาจะไม่ค่อย automated เท่าไหร่

อีกวิธี เป็นวิธีที่เราสามารถ automate ได้ นั่นก็คือใช้ตรวจสอบการใช้งานจากข้อมูลใน INFORMATION_SCHEMA แล้วก็อาจจะตกลงกันไว้ว่าถ้า model ไม่ได้มีการเปลี่ยนแปลงมาสักระยะ ก็น่าจะหมายถึงว่ามัน deprecated หรือ stale ไปแล้วนั่นเอง

เรื่องนี้ก็มีคุยกันใน dbt community ด้วยนะ ตามไปอ่านกันได้~

อันนี้อีกตัวอย่างหนึ่งที่ไปเจอมา หน้าตา macro ก็คล้าย ๆ กัน

github.com

dbt-labs/dbt-learn-jinja/blob/main/macros/clean_stale_models.sql

{#  
    -- let's develop a macro that 
    1. queries the information schema of a database
    2. finds objects that are > 1 week old (no longer maintained)
    3. generates automated drop statements
    4. has the ability to execute those drop statements

#}

{% macro clean_stale_models(database=target.database, schema=target.schema, days=7, dry_run=True) %}
    
    {% set get_drop_commands_query %}
        select
            case 
                when table_type = 'VIEW'
                    then table_type
                else 
                    'TABLE'
            end as drop_type, 
            'DROP ' || drop_type || ' {{ database | upper }}.' || table_schema || '.' || table_name || ';'

This file has been truncated. show original

Topic		Replies	Views
สิ่งนี้ที่รอคอย dbt-core v1.5.0 ออกมาแล้ววว~ คำสั่งใหม่ "show" ช่วยให้เราดูผลลัพธ์ก่อน run ได้ dbt dbt	4	749	May 6, 2023
การวาง Project Structure ของ dbt และ Practices ต่าง ๆ dbt dbt , practice	0	401	June 15, 2022
Override merge incremental model ใน dbt dbt dbt	0	422	August 7, 2022
ชวนอ่านบทความ What we are missing in data CI/CD pipelines? ของ Ivan General Discussion เรื่อง Data Engineering dbt , deployment , data-warehouse , data	0	780	October 9, 2022
Dbt Snapshots ของดีที่ช่วยให้เราทำ Type-2 SCD เพื่อเก็บข้อมูลย้อนหลังได้ dbt dbt , scd , snapshot	0	525	March 17, 2022

ลบ Deprecated Models ที่ไม่ใช้งานแล้วใน Data Warehouse

Related topics