# Airflow **URL:** https://discuss.dataengineercafe.io/c/data-tools/airflow/9.md [Latest](https://discuss.dataengineercafe.io/latest.md) · [Categories](https://discuss.dataengineercafe.io/categories.md) · [Tags](https://discuss.dataengineercafe.io/tags.md) --- ## [About the Airflow](https://discuss.dataengineercafe.io/t/about-the-airflow/25)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0
(Replace this first paragraph with a brief description of your new category. This guidance will appear in the category selection area, so try to keep it below 200 characters.) Use the following paragraphs for a longer d… --- ## [Quickstart Onboarding Guide เผื่อใครอยากเริ่มต้นเป็น Airflow Contributor ครับ](https://discuss.dataengineercafe.io/t/quickstart-onboarding-guide-airflow-contributor/827)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [March 10, 2026, 6:50am UTC](https://discuss.dataengineercafe.io/t/quickstart-onboarding-guide-airflow-contributor/827 "2026-03-10T06:50:42Z")
ส่งหัวข้อไป แล้วได้เป็น speaker ในงาน FOSSASIA Summit 2026 มาครับ เลยอยากเอามาแชร์ให้ เผื่อใครสนใจอยากลองเริ่ม contribute เข้าไปที่ Airflow ครับ Slides Getting Started Contributing to Apache Airflow - Quickstart Onboard… --- ## [การใช้ K8s ในการ Monitor Airflow](https://discuss.dataengineercafe.io/t/k8s-monitor-airflow/823)
**Author:** [@brabigz](https://discuss.dataengineercafe.io/u/brabigz)\ **Replies:** 5\ **Last updated:** [December 9, 2025, 10:20am UTC](https://discuss.dataengineercafe.io/t/k8s-monitor-airflow/823 "2025-12-09T10:20:00Z")
สวัสดีครับ อยากรู้ว่าเราจะใช้ K8s มาช่วยในการ Monitor พวก Airflow ยังไงเหรอครับ สิ่งที่กำลังทำตอนนี้คือ ใช้ Airflow ผ่าน Composer บน GCP Monitor piepline ผ่าน PowerBI โดยการดึงข้อมูล log มาจาก Airflow หรือ เข้าไปดูห… --- ## [ปรึกษาเรื่องการออกแบบ Airflow Framework](https://discuss.dataengineercafe.io/t/airflow-framework/818)
**Author:** [@ChanAndKlee](https://discuss.dataengineercafe.io/u/ChanAndKlee)\ **Replies:** 3\ **Last updated:** [November 10, 2025, 1:46am UTC](https://discuss.dataengineercafe.io/t/airflow-framework/818 "2025-11-10T01:46:07Z")
ตอนนี้ทางทีมกำลังออกแบบ Airflow Framework เพื่อให้สามารถสร้าง pipeline ได้อย่างเป็นระบบและลดการเขียนโค้ดซ้ำ โดยแนวคิดหลักคือการใช้ template + config-driven design เพื่อรองรับ pattern ของงานที่คล้ายกัน เช่น การดึงข้อมู… --- ## [Airflow 3.0.0 ออกแล้ว!](https://discuss.dataengineercafe.io/t/airflow-3-0-0/784)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [April 22, 2025, 3:02pm UTC](https://discuss.dataengineercafe.io/t/airflow-3-0-0/784 "2025-04-22T15:02:34Z")
สด ๆ ร้อน ๆ เมื่อกี้เลย ตื่นเต้นมากครับ :star\_struck: --- ## [เอกสาร ETL/ELT Patterns with Apache Airflow®: 7 Practical DAG Code Examples](https://discuss.dataengineercafe.io/t/etl-elt-patterns-with-apache-airflow-7-practical-dag-code-examples/783)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [April 17, 2025, 10:28am UTC](https://discuss.dataengineercafe.io/t/etl-elt-patterns-with-apache-airflow-7-practical-dag-code-examples/783 "2025-04-17T10:28:44Z")
ไปเจอเอกสารนี้มาจากเว็บ Astronomer เนื้อหาเกี่ยวกับตัวอย่าง pattern การเขียนโค้ด DAG ครับ ไม่ว่าจะเป็นการทำ ETL แบบใช้ XCom การทำ ELT แบบใช้ explicit external storage หรือการเขียน ELT โดยใช้ dynamic task mapping ครับ et… --- ## [Airflow JDBC Connection with SAP HANA](https://discuss.dataengineercafe.io/t/airflow-jdbc-connection-with-sap-hana/763)
**Author:** [@siwagorn](https://discuss.dataengineercafe.io/u/siwagorn)\ **Replies:** 1\ **Last updated:** [January 3, 2025, 3:00am UTC](https://discuss.dataengineercafe.io/t/airflow-jdbc-connection-with-sap-hana/763 "2025-01-03T03:00:41Z")
สวัสดีครับ อยากสอบถามการเชื่อมต่อ JDBC บน Airflow ครับ ต้องการที่จะต่อไปที่ Database ของ SAP HANA ครับ แต่อ่าน Document แล้วยังงงๆ โดยปัจจุบันผมรันโดยใช้ Docker และลง JVM แล้วครับ ส่วน library ต่างๆ ลงตามนี้ครับ jayd… --- ## [สอบเซอร์ Airflow ฟรี! เพียงแค่ตอบแบบสอบถาม](https://discuss.dataengineercafe.io/t/airflow/756)
**Author:** [@atb](https://discuss.dataengineercafe.io/u/atb)\ **Replies:** 1\ **Last updated:** [November 10, 2024, 10:42am UTC](https://discuss.dataengineercafe.io/t/airflow/756 "2024-11-10T10:42:09Z")
:heart\_eyes\_cat: ข่าวดีจาก Astronomer เปิดให้สอบเซอร์ Airflow ฟรี เพียงแค่ตอบแบบสอบถามประจำปี 2024! ใช้เวลาทำแบบสอบถามประมาณ ~5 นาที สามารถเลือกสอบเป็น Airflow Fundamentals Certification หรือ DAG Authoring Certifica… --- ## [บทความ Airflow 2.10 มีอะไรใหม่บ้าง?](https://discuss.dataengineercafe.io/t/airflow-2-10/748)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [September 9, 2024, 12:46pm UTC](https://discuss.dataengineercafe.io/t/airflow-2-10/748 "2024-09-09T12:46:41Z")
มีคนเขียนสรุปไว้แล้ว ไปอ่านกัน ที่ชอบมากสุดคือ Log มีสีแล้ว อย่าง error ก็เป็นสีแดงไรงี้ หาง่ายขึ้นเยอะ :joy: --- ## [Airflow Authentication with Keycloak](https://discuss.dataengineercafe.io/t/airflow-authentication-with-keycloak/240)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 2\ **Last updated:** [September 5, 2024, 3:46am UTC](https://discuss.dataengineercafe.io/t/airflow-authentication-with-keycloak/240 "2024-09-05T03:46:59Z")
ก่อนที่จะไปเล่น Keycloak เราควรมาทำความรู้จักเรื่อง OAuth กับ OpenID Connect (OIDC) กันก่อน ด้านล่างเป็นรูปที่ผมตัดมาจากวีดีโอด้านบน เอามาสรุปเป็นภาพรวมให้เห็นกันครับ ดูการใช้งาน Keycloak เบื้องต้น … --- ## [สอบถาม Apache Airflow error เนื่องจาก Java gateway ครับ](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719)
**Author:** [@serbenzema](https://discuss.dataengineercafe.io/u/serbenzema)\ **Replies:** 4\ **Last updated:** [June 23, 2024, 3:42am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719 "2024-06-23T03:42:56Z")
สวัสดีครับ ผมกำลังทำโปรเจคส่วนตัวโดยการใช้ airflow ผ่าน docker ครับ โดย job etl process ผมมีการใช้ pyspark ในการ process ข้อมูล แต่พอรัน job airflow แล้วเกิด error ตามนี้ครับ Failed to execute job 339 for task process … --- ## [ใช้ Apache Airflow เชื่อมต่อกับ MySQL เพื่อจัดการข้อมูล](https://discuss.dataengineercafe.io/t/apache-airflow-mysql/704)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [April 15, 2024, 6:33am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-mysql/704 "2024-04-15T06:33:30Z")
มีหลาย ๆ คนถามเข้ามาเกี่ยวกับการเชื่อมต่อ MySQL เลยลองทำคลิปมาให้ลองดูกันครับ โค้ดอยู่ที่นี่นะครับ :point\_down: --- ## [ขอวิธีเชื่อม Airflow กับ MSSQL หน่อยค่า](https://discuss.dataengineercafe.io/t/airflow-mssql/696)
**Author:** [@Sk108](https://discuss.dataengineercafe.io/u/Sk108)\ **Replies:** 5\ **Last updated:** [April 5, 2024, 8:55am UTC](https://discuss.dataengineercafe.io/t/airflow-mssql/696 "2024-04-05T08:55:56Z")
สวัสดีค่ะ ตอนนี้อยากจะเชื่อม Airflow กับ MSSQL ค่ะเเต่ติด DAG Import Error ตามภาพที่แนบนี้เลยค่ะ เบื้องต้นได้install pip install apache-airflow-providers-microsoft-mssql เรียบร้อยเเล้วค่ะเเต่ยังมี ERROR นี้อยู่ค่ะ รบ… --- ## [Airflow docker files ต่างกับ airflow docker-compose.yaml อย่างไรครับ](https://discuss.dataengineercafe.io/t/airflow-docker-files-airflow-docker-compose-yaml/687)
**Author:** [@khosit011](https://discuss.dataengineercafe.io/u/khosit011)\ **Replies:** 1\ **Last updated:** [March 10, 2024, 2:51am UTC](https://discuss.dataengineercafe.io/t/airflow-docker-files-airflow-docker-compose-yaml/687 "2024-03-10T02:51:30Z")
ทั้งสอง files ต่างหรือเหมือนกันอย่างไรครับ --- ## [Airflow XComs คืออะไร](https://discuss.dataengineercafe.io/t/airflow-xcoms/512)
**Author:** [@Infanna](https://discuss.dataengineercafe.io/u/Infanna)\ **Replies:** 2\ **Last updated:** [January 3, 2024, 11:43pm UTC](https://discuss.dataengineercafe.io/t/airflow-xcoms/512 "2024-01-03T23:43:32Z")
Airflow XComs คืออะไร Airflow เป็น Open Source Platform ที่ช่วยจัดการ Workflow ด้วยการสร้าง Data Pipeline สามารถเขียนโปรแกรมภาษา python เพื่อควบคุม และจัดการกับข้อมูลมหาศาลได้ โดย Airflow มีการเขียน Workflow เป็น DAG (Di… --- ## [Airflow Unit Testing — เพิ่มประสิทธิภาพของ Data pipeline และเสริมเกราะ Data Quality](https://discuss.dataengineercafe.io/t/airflow-unit-testing-data-pipeline-data-quality/653)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [December 15, 2023, 2:34am UTC](https://discuss.dataengineercafe.io/t/airflow-unit-testing-data-pipeline-data-quality/653 "2023-12-15T02:34:45Z")
ใครกำลังมองหาวิธีเขียน unit tests กับ Airflow ลองอ่านบทความนี้ได้เลยครับ :wink: --- ## [รัน Airflow บนเครื่องตัวเองโดยใช้ Astronomer CLI](https://discuss.dataengineercafe.io/t/airflow-astronomer-cli/59)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [December 13, 2023, 8:55am UTC](https://discuss.dataengineercafe.io/t/airflow-astronomer-cli/59 "2023-12-13T08:55:58Z")
วิธีรัน Airflow บนเครื่องเราสามารถ ทำได้ทั้งแบบติดตั้ง package บนเครื่องเราเอง หรือว่าใช้ Docker สะดวกอยู่ https://airflow.apache.org/docs/apache-airflow/stable/start/local.html https://airflow.apache.org/docs/apache-a… --- ## [Set up Airflow แบบง่าย ๆ จัดการโปรเจคบนเครื่องกันแบบชิล ๆ ด้วย airflowctl](https://discuss.dataengineercafe.io/t/set-up-airflow-airflowctl/622)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [September 6, 2023, 3:25am UTC](https://discuss.dataengineercafe.io/t/set-up-airflow-airflowctl/622 "2023-09-06T03:25:08Z")
เป็นเครื่องมือ CLI ที่ทำให้เราเซตอัพ Airflow ขึ้นมาเล่นเองบนเครื่องของเราแบบง่าย ๆ (ไม่ต้องใช้ Docker) เราสามารถที่จะสร้างโปรเจค จัดการ Version ของ Airflow และ Python รวมไปถึงเรื่องของ Connections กับ Variables ด้วยได้เล… --- ## [Airflow Bigquery upsert](https://discuss.dataengineercafe.io/t/airflow-bigquery-upsert/549)
**Author:** [@0xKoios](https://discuss.dataengineercafe.io/u/0xKoios)\ **Replies:** 2\ **Last updated:** [March 29, 2023, 7:30am UTC](https://discuss.dataengineercafe.io/t/airflow-bigquery-upsert/549 "2023-03-29T07:30:30Z")
มีใครเคยใช้ BigQueryUpsertTableOperator (Link) ไหมครับ ผมพยายามจะใช้กับ Pipeline เพื่อทำการ Upsert จาก Table A ไป Table B แต่หาตัวอย่างการใช้งานไม่เจอ ลองทำตามใน Doc แล้วแต่ก็ยังไม่สำเร็จครับ --- ## [แก้ปัญหา "Error: DAG Import Errors" ยังไง?](https://discuss.dataengineercafe.io/t/error-dag-import-errors/501)
**Author:** [@phhhh](https://discuss.dataengineercafe.io/u/phhhh)\ **Replies:** 13\ **Last updated:** [February 15, 2023, 1:57am UTC](https://discuss.dataengineercafe.io/t/error-dag-import-errors/501 "2023-02-15T01:57:55Z")
สวัสดีครับ :pray: ผมมือใหม่มากๆสำหรับ DE อยากจะลองสร้าง Data Pipeline ด้วย Apache Airflow เองดู แล้วได้ลองดูคลิปของพี่กานต์คลิปนี้ ทำ Data Pipeline แบบง่ายๆ ด้วย เครื่องมือสุดฮิตอย่าง Apache Airflow แล้วก่อนหน้านี้ก็… --- ## [Hello, Astronomer Cosmos! A framework for dynamically converting your dbt projects into DAGs and tasks](https://discuss.dataengineercafe.io/t/hello-astronomer-cosmos-a-framework-for-dynamically-converting-your-dbt-projects-into-dags-and-tasks/496)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [January 28, 2023, 5:16am UTC](https://discuss.dataengineercafe.io/t/hello-astronomer-cosmos-a-framework-for-dynamically-converting-your-dbt-projects-into-dags-and-tasks/496 "2023-01-28T05:16:11Z")
วันก่อน @atb เอาโพสต์ของพี่มาร์คบน LinkedIn มาแชร์ให้ทีมดู มันน่าสนใจมาก ก่อนหน้านี้ทางทีมใช้ airflow-dbt-python กัน แล้วเราต้องมานั่งเพิ่ม operator กันเองว่าอยากจะทำอะไรกับ dbt เช่น อยากจะรันโมเดล หรืออยากจะรันเทส อะ… --- ## [หลีกเลี่ยงการเขียน Top level Python Code ใน Airflow DAG](https://discuss.dataengineercafe.io/t/top-level-python-code-airflow-dag/431)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [October 8, 2022, 2:23am UTC](https://discuss.dataengineercafe.io/t/top-level-python-code-airflow-dag/431 "2022-10-08T02:23:15Z")
Practice หนึ่งใน Airflow คือการหลีกเลี่ยงการเขียน Top level Python Code ใน DAG เป็นเพราะเนื่องจากการทำงานของ scheduler ที่จะคอยมา parse ไฟล์ DAG ของเราอยู่เรื่อย ๆ ดังนั้นถ้าเรามี code อะไรก็ตามที่อยู่ข้างนอก task หรือ f… --- ## [มีอะไรใหม่บ้างใน Airflow 2.4?](https://discuss.dataengineercafe.io/t/airflow-2-4/410)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [September 23, 2022, 1:52am UTC](https://discuss.dataengineercafe.io/t/airflow-2-4/410 "2022-09-23T01:52:59Z")
Airflow เวอร์ชั่น 2.4 เพิ่งถูกปล่อยมาเมื่อ 4 วันที่แล้ว! Feature ใหม่ ๆ ก็ตามนี้ :point\_down: :sparkles: Auto-refresh ที่หน้า DAGs View - เราไม่ต้องเมื่อยมือกด refresh อีกต่อไป! :joy: :sparkles: DAG auto-… --- ## [บทความ Airflow's Problem ทำไมถึงไม่ชอบ Airflow](https://discuss.dataengineercafe.io/t/airflows-problem-airflow/357)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 2\ **Last updated:** [August 1, 2022, 3:36am UTC](https://discuss.dataengineercafe.io/t/airflows-problem-airflow/357 "2022-08-01T03:36:58Z")
บทความนี้น่าสนใจดีครับ สมเหตุสมผล คู่ควรแก่เวลาอ่าน :blush: เป็นบทความที่เค้าบอกว่าทำไมเค้าถึงไม่ชอบ Airflow และปัญหาอยู่ตรงไหนบ้าง ซึ่งจะกล่าวถึง value ในอนาคตเกี่ยวกับ data teams ที่ว่าการสร้าง workflow จะต้องเร็วขึ… --- ## [สร้าง Automated Workflow ในการส่ง Spark Job ขึ้นไปรันบน Amazon EMR Cluster โดยใช้ Apache Airflow](https://discuss.dataengineercafe.io/t/automated-workflow-spark-job-amazon-emr-cluster-apache-airflow/310)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [June 24, 2022, 10:36am UTC](https://discuss.dataengineercafe.io/t/automated-workflow-spark-job-amazon-emr-cluster-apache-airflow/310 "2022-06-24T10:36:20Z")
Credit: โพสต์เฟสบุคเพจ BigData.go.th พอดีได้ไปเขียนบทความให้กับทาง Big Data Community Thailand มาครับ :blush: ตามลิ้งค์ด้านล่างนี้เลย :point\_down: ใครแวะเข้าไปอ่านแล้วมีฟีดแบคข้อแนะนำปรับปรุงอย่างไร ควรเสริมตรงไหน… --- ## [Lessons Learned From Running Apache Airflow at Scale](https://discuss.dataengineercafe.io/t/lessons-learned-from-running-apache-airflow-at-scale/260)
**Author:** [@kahnwong](https://discuss.dataengineercafe.io/u/kahnwong)\ **Replies:** 2\ **Last updated:** [May 28, 2022, 6:28pm UTC](https://discuss.dataengineercafe.io/t/lessons-learned-from-running-apache-airflow-at-scale/260 "2022-05-28T18:28:34Z")
ไปเจอมาจาก hackernews frontpage (ติดหน้าแรก แสดงว่ากระทู้ดี) discussion น่าสนใจมาก เพื่อนๆ ที่ใช้ airflow เจออะไรกันมาบ้าง มาแลกเปลี่ยนกันๆ (ส่วนตัวเริ่มมาก็ dagster เลย ไม่เคยใช้ airflow :joy: ) --- ## [Airflow คืออะไรเอ่ย ทำไม Data Scientist จำเป็นต้องรู้](https://discuss.dataengineercafe.io/t/airflow-data-scientist/262)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 2\ **Last updated:** [May 26, 2022, 3:06pm UTC](https://discuss.dataengineercafe.io/t/airflow-data-scientist/262 "2022-05-26T15:06:47Z")
ขอบคุณ @BigDataRPG มากครับ ชาว Data Scientist คนไหนแวะเข้ามา แล้วยังไม่รู้จัก Airflow ลองตามเข้าไปอ่านกันนนนน --- ## [Airflow User Survey 2022 -- มาช่วย Community พัฒนา Airflow ให้ดีขึ้นเรื่อย ๆ กัน](https://discuss.dataengineercafe.io/t/airflow-user-survey-2022-community-airflow/261)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [May 26, 2022, 12:10pm UTC](https://discuss.dataengineercafe.io/t/airflow-user-survey-2022-community-airflow/261 "2022-05-26T12:10:05Z")
เป็นแบบสอบถามประจำปีครับ :blush: ใครเป็นแฟน Airflow อยากชวนไปตอบแบบสอบถามกัน --- ## [มีอะไรใหม่บ้างนะใน Airflow 2.3 🤩](https://discuss.dataengineercafe.io/t/airflow-2-3/232)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 2\ **Last updated:** [May 8, 2022, 6:31am UTC](https://discuss.dataengineercafe.io/t/airflow-2-3/232 "2022-05-08T06:31:16Z")
เวอร์ชั่น 2.3 นี่เพิ่งออกมาได้เมื่อ 1 พ.ค.​ 65 นี่เลยครับ แล้วก็ทาง Astronomer เค้าจัด Webinar หัวข้อ What’s New in Airflow 2.3 TLDR: มี feature ใหม่หลักๆ 2 features คือ Dynamic Task Mapping ที่ทำ dynamic task หรือ DAG … --- ## [ปัญหาเกี่ยวกับ path ตอนที่ใช้ Airflow กับ Docker ที่มักจะเจอกัน](https://discuss.dataengineercafe.io/t/path-airflow-docker/171)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [April 12, 2022, 2:51pm UTC](https://discuss.dataengineercafe.io/t/path-airflow-docker/171 "2022-04-12T14:51:41Z")
พอดีวันก่อนผมเข้าไปส่อง Airflow BashOperator - cannot create directory - Airflow - The Apache Airflow Forum by Astronomer มา แล้วก็นึกได้ว่า ปัญหานี้เป็นปัญหาหนึ่งที่มักจะเจอกันตอนที่หลายๆ คนใช้ Airflow กับ Docker เลยทีเ… [Next page](https://discuss.dataengineercafe.io/c/data-tools/airflow/9.md?page=1)