ปัญหาเกี่ยวกับ path ตอนที่ใช้ Airflow กับ Docker ที่มักจะเจอกัน

พอดีวันก่อนผมเข้าไปส่อง Airflow BashOperator - cannot create directory - Airflow - The Apache Airflow Forum by Astronomer มา แล้วก็นึกได้ว่า ปัญหานี้เป็นปัญหาหนึ่งที่มักจะเจอกันตอนที่หลายๆ คนใช้ Airflow กับ Docker เลยทีเดียวครับ มักจะสับสนเรื่อง path กัน

ตัว path บนเครื่อง host เรากับ path ที่ใช้ใน container ที่รันอยู่จะต่างกัน

  • ถ้าเราใช้ official Airflow Docker image ให้เราใช้ path /opt/airflow/dags
  • ถ้าเราใช้ Astro CLI ให้เราใช้ path /usr/local/airflow/dags

2 paths ด้านบนนี้เป็น path ที่เค้า mount ออกมาที่บนเครื่อง host ของเราโดย default ครับ ถ้าเราเจอ error ที่บอกประมาณว่า “No such file or directory” เนี่ย ให้ลองดูเรื่อง path ก่อนเลย :wink:

ปล. เรื่อง Docker เป็นเรื่องที่เราควรศึกษาไว้นะครับ ถ้าใครยังไม่ค่อยคล่อง ลองเข้าไปฝึกตาม links ต่างๆ ที่ผมแปะไว้ที่นี่ได้เลย :point_down: