พอดีวันก่อนผมเข้าไปส่อง Airflow BashOperator - cannot create directory - Airflow - The Apache Airflow Forum by Astronomer มา แล้วก็นึกได้ว่า ปัญหานี้เป็นปัญหาหนึ่งที่มักจะเจอกันตอนที่หลายๆ คนใช้ Airflow กับ Docker เลยทีเดียวครับ มักจะสับสนเรื่อง path กัน
ตัว path บนเครื่อง host เรากับ path ที่ใช้ใน container ที่รันอยู่จะต่างกัน
- ถ้าเราใช้ official Airflow Docker image ให้เราใช้ path
/opt/airflow/dags
- ถ้าเราใช้ Astro CLI ให้เราใช้ path
/usr/local/airflow/dags
2 paths ด้านบนนี้เป็น path ที่เค้า mount ออกมาที่บนเครื่อง host ของเราโดย default ครับ ถ้าเราเจอ error ที่บอกประมาณว่า “No such file or directory” เนี่ย ให้ลองดูเรื่อง path ก่อนเลย
ปล. เรื่อง Docker เป็นเรื่องที่เราควรศึกษาไว้นะครับ ถ้าใครยังไม่ค่อยคล่อง ลองเข้าไปฝึกตาม links ต่างๆ ที่ผมแปะไว้ที่นี่ได้เลย