# สอบถาม Apache Airflow error เนื่องจาก Java gateway ครับ

**URL:** <https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719>\
**Category:** Airflow\
**Tags:** airflow, data-pipeline\
**Created:** [May 5, 2024, 7:39am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719 "2024-05-05T07:39:29Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![serbenzema](https://avatars.discourse-cdn.com/v4/letter/s/ad7895/32.png) [@serbenzema](https://discuss.dataengineercafe.io/u/serbenzema)\
**Post date:** [May 5, 2024, 7:39am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719/1 "2024-05-05T07:39:29Z")

</div>

สวัสดีครับ ผมกำลังทำโปรเจคส่วนตัวโดยการใช้ airflow ผ่าน docker ครับ  
โดย job etl process ผมมีการใช้ pyspark ในการ process ข้อมูล แต่พอรัน job airflow แล้วเกิด error ตามนี้ครับ

Failed to execute job 339 for task process ([JAVA\_GATEWAY\_EXITED] Java gateway process exited before sending its port number.; 438)

ผมลองไปเซิชหาข้อมูลเบื้องต้น เค้าบอกให้ install Java JDK ใน airflow container ไม่แน่ใจว่าเกี่ยวมั้ย  
รบกวนแนะนำวิธีทำหรือวิธีที่แก้ไขที่ถูกต้องหน่อยครับ พอดีผมค่อนข้างใหม่กับสาย DE ครับ

ขอบคุณมากๆครับ

---

<div class="post-metadata">

**Author:** ![zkan](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/zkan/32/2_2.png) [@zkan](https://discuss.dataengineercafe.io/u/zkan)\
**Post date:** [May 10, 2024, 1:33am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719/2 "2024-05-10T01:33:51Z")

</div>

สวัสดีครับ ตอนนี้รัน Airflow ประมาณไหนอยู่ครับผม ใช้ Docker หรือเปล่า ถ้าใช้ ผมขอลองดู Dockerfile หน่อยได้ไหมครับ เดี๋ยวลองช่วยดู

เดาเบื้องต้นว่าตัวแปร PATH อะไรประมาณนี้อาจจะยังเซตไม่ตรงครับ

---

<div class="post-metadata">

**Author:** ![serbenzema](https://avatars.discourse-cdn.com/v4/letter/s/ad7895/32.png) [@serbenzema](https://discuss.dataengineercafe.io/u/serbenzema)\
**Post date:** [May 11, 2024, 7:35am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719/4 "2024-05-11T07:35:30Z")

</div>

สวัสดีครับ ตอนนี้รัน Airflow ผ่าน Docker ครับ

ด้านล่างนี้เป็น Docker file สำหรับ install JDK และ packages ครับ

FROM apache/airflow:2.8.3  
USER root

RUN apt-get update &&   
apt-get install -y openjdk-17-jdk &&   
apt-get clean &&   
rm -rf /var/lib/apt/lists/\*

ENV JAVA\_HOME /usr/lib/jvm/java-17-openjdk-amd64  
ENV PATH $JAVA\_HOME/bin:$PATH

COPY requirements.txt /requirements.txt  
USER airflow  
RUN pip install --user --upgrade pip  
RUN pip install --no-cache-dir --user -r /requirements.txt

อันนี้เป็น requirements.txt ครับ:

pyspark==3.5.1

delta-spark==3.1.0

ขอบคุณมากๆครับ

---

<div class="post-metadata">

**Author:** ![zkan](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/zkan/32/2_2.png) [@zkan](https://discuss.dataengineercafe.io/u/zkan)\
**Post date:** [May 23, 2024, 11:15am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719/5 "2024-05-23T11:15:20Z")

</div>

ยังไม่แน่ใจว่าจะสามารถแก้ปัญหาได้เปล่านะครับ ลองดู [efficient\_data\_processing\_spark/data-processing-spark/1-lab-setup/containers/spark/Dockerfile at main · josephmachado/efficient\_data\_processing\_spark · GitHub](https://github.com/josephmachado/efficient_data_processing_spark/blob/main/data-processing-spark/1-lab-setup/containers/spark/Dockerfile#L37) ครับ ใช้ Docker Image ของ Delta Lake เลย ที่มี Spark อยู่แล้ว แล้วก็มีเซต `PYTHONPATH` อยู่ เพื่อให้ใช้ PySpark ได้ครับ

---

<div class="post-metadata">

**Author:** ![serbenzema](https://avatars.discourse-cdn.com/v4/letter/s/ad7895/32.png) [@serbenzema](https://discuss.dataengineercafe.io/u/serbenzema)\
**Post date:** [June 23, 2024, 3:42am UTC](https://discuss.dataengineercafe.io/t/apache-airflow-error-java-gateway/719/6 "2024-06-23T03:42:56Z")

</div>

ใช้งานได้แล้วครับ ขอบคุณมากๆครับสำหรับการช่วยเหลือ 😀