ชวนคุยเกี่ยวกับบทความ We were all using Airflow wrong... And now, it's fixed!

บทความนี้จั่วหัวไว้ประมาณว่าพวกเราใช้ Airflow กันผิดๆ นะ แล้วก็มาเสนอวิธีที่ควรจะงาน ลองตามไปอ่านรายละเอียดกันได้ครับ

ที่เค้าว่ามาประเด็นจะอยู่ที่ตัว Airflow Operators หลักๆ ที่ผมเห็นด้วยคือว่าถ้าเราใช้งาน Airflow กันทั่งองค์กร ทีมแต่ละทีมอาจจะมี requirement เกี่ยวกับ infrastructure ที่หลากหลาย และแตกต่างกัน บางทีมอาจจะจำเป็นต้องใช้ GPU บางทีมอาจจะใช้แค่เครื่องเล็กๆ ประมวลผล ส่ง notification อะไรประมาณนี้ ทำให้มันอาจจะต้องมี worker อยู่หลายแบบ และจะจัดการยาก

เค้าเลยเสนอว่าให้ใช้ Kubernetes และใช้ KubernetesPodOperator ซึ่งก็ถูกของเค้าครับ :joy: ลดความปวดหัวเรื่องเกี่ยวกับ dependencies ไปเลยทีเดียว แล้วชีวิตเราก็อาจจะสบายในเรื่องการจัดการ resource ต่างๆ

แต่อย่างไรก็ดีผมมองว่าการใช้ technology มันก็มี trade-off แหละ ไม่ว่าเราจะเลือกทางไหนก็ตาม ผมคิดว่ามันไม่มีอะไรผิดหรือถูก คนเขียนบทความนี้เค้าก็เขียนในบริบทของเค้า ข้อดีคือเราสามารถเรียนรู้จากสิ่งที่เค้าแชร์มาได้ครับ แล้วเอามาปรับใช้กับงานของเรา :blush:

บางทีมอาจจะเพิ่มเริ่มต้นกับ Kubernetes ก็ต้องค่อยๆ ไป เลือกใช้ในแบบที่เหมาะสมกับเราก่อน ถ้าจะกระโดดไปดูแล Kubernetes เลย ก็อาจจะช็อคซะก่อนครับ :rofl: