เล่น Spark บนเครื่อง Local โดยใช้ Jupyter Docker Stacks

เวลาที่เราอยากจะลองเล่น Spark บนเครื่อง การที่จะเซตอัพขึ้นมาได้อาจจะลำบากหน่อยๆ ลองอ่านจากบทความ How to install PySpark and Jupyter Notebook in 3 Minutes ดูได้

จริงๆ แล้วมีวิธีง่ายกว่านั้น เราสามารถใช้ Jupyter Docker Stacks ได้ ซึ่งเค้ามี Docker image ให้เลือกเยอะเลย รวมไปถึง jupyter/pyspark-notebook สำหรับชาว Pythonista (Scala หรือ R ก็มีนะ)

ผมลองเล่นไว้คร่าวๆ ที่นี่ :point_down: เผื่ออยากลองทดสอบครับ เอาโค้ดหรือข้อมูลไว้ในโฟลเดอร์ notebooks ได้เลย แล้วสั่ง docker-compose up

1 Like