# ใช้ spark บน prod กันยังไงบ้าง มาแลกเปลี่ยนกัน

**URL:** <https://discuss.dataengineercafe.io/t/spark-prod/436>\
**Category:** General Discussion เรื่อง Data Engineering\
**Tags:** pyspark\
**Created:** [October 12, 2022, 6:23am UTC](https://discuss.dataengineercafe.io/t/spark-prod/436 "2022-10-12T06:23:54Z")\
**Posts on this page:** 2\
**Page:** 1

<div class="post-metadata">

**Author:** ![kahnwong](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/kahnwong/32/295_2.png) [@kahnwong](https://discuss.dataengineercafe.io/u/kahnwong)\
**Post date:** [October 12, 2022, 6:23am UTC](https://discuss.dataengineercafe.io/t/spark-prod/436/1 "2022-10-12T06:23:54Z")

</div>

โลกนี้มีทั้ง emr, databricks, dataproc แถม serverless version ก็มีแล้ว แต่มี challenge สำคัญคือต้องใช้ spark ผ่าน task orchestrator เช่น airflow, dagster เลยอยากรู้ว่า ปกติใช้ spark ก้นยังไง

เท่าที่เจอ มีทั้งมัดโค้ดใน airflow แล้วโยนไปที่ emr ทั้งก้อน  
ถ้าใช้ airflow ก็มี spark on k8s operator

ปัญหา big data นี่ก็โลกแตกใช่ย่อย 😂

---

<div class="post-metadata">

**Author:** ![zkan](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/zkan/32/2_2.png) [@zkan](https://discuss.dataengineercafe.io/u/zkan)\
**Post date:** [October 13, 2022, 10:55am UTC](https://discuss.dataengineercafe.io/t/spark-prod/436/2 "2022-10-13T10:55:10Z")

</div>

Summon ชาวบ้านมาร่วมวง อิอิ @Nengchakun @yothinix
