พยายามใช้ Airflow Operator ที่มีอยู่แล้ว ก่อนที่จะเขียนเองขึ้นมาใหม่

เรื่องนี้เป็น Practice หนึ่งในการใช้งาน Airflow ครับ

ให้เราลองพยายามเลือก Airflow Operator ที่มีอยู่แล้วมาใช้งานก่อน ที่จะไปเขียนโค้ดใหม่ทั้งหมด หรือว่าสร้าง Custom Operator ขึ้นมาใหม่

ตรงนี้จะทำให้โค้ด DAG ของเราดูสะอาดตามากขึ้น แล้วก็เนื่องจากว่า Operator ที่มีอยู่แล้วถูกพัฒนาขึ้นมาโดย community ดังนั้นแล้วจะมีการทดสอบอยู่บ่อยครั้ง และเรามั่นใจได้ในระดับหนึ่งว่ามันจะสามารถทำงานได้ตามที่เราคาด และเนื่องจากว่า Airflow มี community ที่ใหญ่มาก ดังนั้น Operator จาก community ก็จะมีให้เลือกเยอะมากเช่นกัน :sunglasses:

ถ้าลองหาดูแล้วไม่มีที่ตอบโจทย์งานที่เราทำอยู่เลย ค่อยเขียนโค้ดขึ้นมาใหม่เอง หรือว่าจะ wrap โค้ดของเราไปเป็น Custom Operator ก็ได้อยู่ ซึ่งก็มีหลายๆ บริษัทที่เค้าพัฒนา Operator ของเค้าขึ้นมาใช้งานภายในทีมกันเองอยู่ด้วยเช่นกัน