สอบถาม: ปัญหาเรื่องการทำ Git Sync สำหรับ sync dags & other package ใน k8s

[johnR46]

ขอเกริ่น ผมได้ลองทำโปรเจ็ค end to end project data eng ตามคลิปพี่แก
Data Engineer Project: An end-to-end Airflow data pipeline with BigQuery, dbt Soda, and more! (youtube.com)

ตอนรันใน local (docker compose) ก็ไม่ติดปัญหาอะไร
พอลองเอาขึ้น prd (ตั้ง k8s มา แล้วสั่ง deploy airflow with helm)
จากนั้นไปตั้งให้ตัว Executor เป็น Kubernetes Executor
แล้วก็ตั้ง git sync ในไฟล์ values.yaml ดังรูป

ก็ sync ได้ปกติ แต่ว่า dags โหลดไฟล์ที่ผม ใส่ไว้ไม่ครบตามรูป

ก็เลยมาขอปรึกษาหน่อยครับ ว่าจะต้องไปดู concept git-sync หรือการเม้าพาร์ทเพิ่ม
ขอขอบคุณทุกคำตอบล่วงหน้าครับ

!! อันนี้เป็น project demo ทำสนุกๆ เพื่อ poc การ deploy airflow on k8s บน gcp !!

[johnR46]

อันนี้เป็นตัวโครงสร้างโปรเจ็คครับ

[atb]

จาก error เข้าใจว่า Airflow มองเห็น dags/ folder แล้ว แต่ยังไม่เจอ dbt profiles.yml ที่อยู่ใน include/ folder

เบื้องต้นลอง list folder ใน Pod Airflow worker (container) ดูก่อนครับว่าตอนนี้ทุกไฟล์ได้ sync ไปอย่างถูกต้องหมดหรือยัง (ใช้ kubectl exec ได้)