# \#kubernetes **URL:** https://discuss.dataengineercafe.io/tag/kubernetes/26.md [Latest](https://discuss.dataengineercafe.io/latest.md) · [Categories](https://discuss.dataengineercafe.io/categories.md) · [Tags](https://discuss.dataengineercafe.io/tags.md) --- ## [การใช้ K8s ในการ Monitor Airflow](https://discuss.dataengineercafe.io/t/k8s-monitor-airflow/823)
**Author:** [@brabigz](https://discuss.dataengineercafe.io/u/brabigz)\ **Replies:** 5\ **Last updated:** [December 9, 2025, 10:20am UTC](https://discuss.dataengineercafe.io/t/k8s-monitor-airflow/823 "2025-12-09T10:20:00Z")
สวัสดีครับ อยากรู้ว่าเราจะใช้ K8s มาช่วยในการ Monitor พวก Airflow ยังไงเหรอครับ สิ่งที่กำลังทำตอนนี้คือ ใช้ Airflow ผ่าน Composer บน GCP Monitor piepline ผ่าน PowerBI โดยการดึงข้อมูล log มาจาก Airflow หรือ เข้าไปดูห… --- ## [มีใครได้ลองเล่น Flyte (K8s-native workflow automation platform) แล้วบ้าง?](https://discuss.dataengineercafe.io/t/flyte-k8s-native-workflow-automation-platform/237)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 2\ **Last updated:** [October 31, 2022, 10:45am UTC](https://discuss.dataengineercafe.io/t/flyte-k8s-native-workflow-automation-platform/237 "2022-10-31T10:45:43Z")
เห็นออกมาสักพักแล้ว เป็น open source แบบเต็มตัว เขียนได้ทั้ง Python, Java และ Scala เลย ดูเหมือนจะได้รับความสนใจอยู่พอสมควรเลย อย่างที่ Lyft ก็เปรียบเทียบระหว่าง Flyte กับ Airflow ที่ Spotify ก็เริ่ม migrate มาใ… --- ## [เล่า spark on k8s แบบสั้นๆ ตอน 3](https://discuss.dataengineercafe.io/t/spark-on-k8s-3/290)
**Author:** [@Nengchakun](https://discuss.dataengineercafe.io/u/Nengchakun)\ **Replies:** 2\ **Last updated:** [July 9, 2022, 9:24am UTC](https://discuss.dataengineercafe.io/t/spark-on-k8s-3/290 "2022-07-09T09:24:04Z")
จากตอน 2(เล่า spark on k8s แบบสั้นๆ ตอน 2) ผมปิด event log ไปครับ ตอน 3 นี้ก็จะสรุปเรื่อง event log + history server ของ spark ครับ และก็จะเปิด event log เพื่อใช้กับ spark history server ตอนท้ายของตอน 2 ที่เกริ่นไว้ว่า… --- ## [Songs about K8s](https://discuss.dataengineercafe.io/t/songs-about-k8s/71)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [July 2, 2022, 2:08pm UTC](https://discuss.dataengineercafe.io/t/songs-about-k8s/71 "2022-07-02T14:08:09Z")
เอาไว้ฟังตอนทำงาน… Credit: https://twitter.com/memenetes/status/1474077574405971975/photo/1 ปล. อันนี้ไม่มีจริงนะครับ 555 ผมลองไปเซิชดูล่ะ :rofl: --- ## [งาน Airflow Day 2022 on Google Open Source Live (Jul 7, 2022)](https://discuss.dataengineercafe.io/t/airflow-day-2022-on-google-open-source-live-jul-7-2022/314)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [July 1, 2022, 2:46am UTC](https://discuss.dataengineercafe.io/t/airflow-day-2022-on-google-open-source-live-jul-7-2022/314 "2022-07-01T02:46:41Z")
งานฟรีมาอีกแล้ววว เป็น virtual event ครับ :heart\_eyes: Credit: รูปจาก Airflow Day 2022 on Google Open Source Live, Thu, Jul 7, 2022, 9:00 AM | Meetup เราไปดูกันว่าเค้าทำใช้ Cloud Composer integration กับ Airflow Rol… --- ## [เล่า spark on k8s แบบสั้นๆ ตอน 2](https://discuss.dataengineercafe.io/t/spark-on-k8s-2/268)
**Author:** [@Nengchakun](https://discuss.dataengineercafe.io/u/Nengchakun)\ **Replies:** 0\ **Last updated:** [May 31, 2022, 3:38pm UTC](https://discuss.dataengineercafe.io/t/spark-on-k8s-2/268 "2022-05-31T15:38:23Z")
หลังจากผ่านตอนแรกไป เล่า spark on k8s แบบสั้นๆ ก็ไปทำการบ้านทดลองนั่นๆ นี่ๆ มา ก็มาสรุปไว้หน่อย เผื่อมีคนเจอปัญหาเดียวกัน โจทย์ที่ต้องทำคือ deploy pyspark app ไปรันบน k8s cluster ที่เตรียมไว้(มีคนเตรียมไว้ให้เแล้วจะขอไ… --- ## [เครื่องมือสำหรับ sync secrets จาก AWS Secrets Manager ไป Kubernetes Cluster](https://discuss.dataengineercafe.io/t/sync-secrets-aws-secrets-manager-kubernetes-cluster/178)
**Author:** [@atb](https://discuss.dataengineercafe.io/u/atb)\ **Replies:** 2\ **Last updated:** [April 22, 2022, 12:42pm UTC](https://discuss.dataengineercafe.io/t/sync-secrets-aws-secrets-manager-kubernetes-cluster/178 "2022-04-22T12:42:49Z")
ถ้าอยากใช้งาน secrets จาก AWS Secrets Manager ใน Kubernetes Cluster อาจจะต้องหาเครื่องมือเข้ามาช่วย เครื่องมือที่ผมคิดว่าน่าสนใจ คือ 2 ตัวนี้ครับ 1. External Secrets Operator (ESO) :star\_struck: อัปเดต Kubernetes Se… --- ## [เล่า spark on k8s แบบสั้นๆ](https://discuss.dataengineercafe.io/t/spark-on-k8s/185)
**Author:** [@Nengchakun](https://discuss.dataengineercafe.io/u/Nengchakun)\ **Replies:** 2\ **Last updated:** [April 17, 2022, 1:03pm UTC](https://discuss.dataengineercafe.io/t/spark-on-k8s/185 "2022-04-17T13:03:38Z")
พอดีมีโจทย์ที่ต้องแก้ปัญหา เลยรวบรวมมาทดลองช่วงสงกรานต์ มีเวลาพอดี เลยมาเขียนสรุปเล่าให้ชาวบ้านฟังหน่อย ที่มาของโจทย์คือ จะต้องหาเครื่องมือทางเลือกในการทำ data processing ซึ่งปัจจุบันใช้ spark cluster ที่ขึ้นด้วย yarn อ… --- ## [5 steps to set up Fluent Bit DaemonSet to send container logs to CloudWatch Logs on Amazon EKS](https://discuss.dataengineercafe.io/t/5-steps-to-set-up-fluent-bit-daemonset-to-send-container-logs-to-cloudwatch-logs-on-amazon-eks/167)
**Author:** [@atb](https://discuss.dataengineercafe.io/u/atb)\ **Replies:** 1\ **Last updated:** [April 7, 2022, 3:43pm UTC](https://discuss.dataengineercafe.io/t/5-steps-to-set-up-fluent-bit-daemonset-to-send-container-logs-to-cloudwatch-logs-on-amazon-eks/167 "2022-04-07T15:43:58Z")
มา set up Fluent Bit DaemonSet บน Amazon EKS cluster ให้รวบรวมและส่ง logs จาก containers ไปที่ CloudWatch Logs แบบไว ๆ กันครับ Prerequisites Amazon EKS cluster AWS CLI eksctl kubectl :dove: Let’s start! 1. Create a… --- ## [เลือกใช้ Fluentd หรือ Fluent Bit ดี?](https://discuss.dataengineercafe.io/t/fluentd-fluent-bit/160)
**Author:** [@atb](https://discuss.dataengineercafe.io/u/atb)\ **Replies:** 4\ **Last updated:** [April 5, 2022, 6:18pm UTC](https://discuss.dataengineercafe.io/t/fluentd-fluent-bit/160 "2022-04-05T18:18:38Z")
Fluend vs Fluent Bit TLDR; Fluent Bit กับ Fluentd แทบจะเหมือนกัน, Fluent Bit ครอบคลุมการใช้งานทั่วไปและมีขนาดเบากว่ามาก แต่ถ้าใช้งานท่ายาก Fluentd จะครบเครื่องกว่า Fluentd is an open source data collector, which… --- ## [ชวนคุยเกี่ยวกับบทความ We were all using Airflow wrong... And now, it's fixed!](https://discuss.dataengineercafe.io/t/we-were-all-using-airflow-wrong-and-now-its-fixed/97)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [January 12, 2022, 11:42am UTC](https://discuss.dataengineercafe.io/t/we-were-all-using-airflow-wrong-and-now-its-fixed/97 "2022-01-12T11:42:35Z")
บทความนี้จั่วหัวไว้ประมาณว่าพวกเราใช้ Airflow กันผิดๆ นะ แล้วก็มาเสนอวิธีที่ควรจะงาน ลองตามไปอ่านรายละเอียดกันได้ครับ ที่เค้าว่ามาประเด็นจะอยู่ที่ตัว Airflow Operators หลักๆ ที่ผมเห็นด้วยคือว่าถ้าเราใช้งาน Airflow กัน… --- ## [Deploy Airflow บน Kubernetes ด้วย Helm](https://discuss.dataengineercafe.io/t/deploy-airflow-kubernetes-helm/61)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [December 5, 2021, 7:50am UTC](https://discuss.dataengineercafe.io/t/deploy-airflow-kubernetes-helm/61 "2021-12-05T07:50:03Z")
Helm เป็นเครื่องมือตัวหนึ่งที่ช่วยให้เราไม่ต้องมานั่งเขียนไฟล์ Kubernetes manifest เองหลายๆ รอบ ยิ่งถ้ามีหลายๆ service เราต้องมาเขียนไฟล์ซ้ำๆ กันหลายไฟล์ เวลาแก้ก็ต้องแก้หลายที่ ก็จะเหนื่อยๆ หน่อย การที่เราจะ deploy ตัว…