ขอยก spark ออกจากกระดาน เพราะต่อให้ออกวิ่งช้าแค่ไหน แต่ถ้าเจอ big data หนักๆ ก็มีแต่ spark ที่เอาอยู่
solution ที่เคลมว่าแทน spark ได้ เคยจับมา benchmark แล้วทำคอมค้างมาแล้วทุกอัน เพราะ RAM ไม่พอเลยไปออก disk จนเต็ม
ต้นเหตุจริงๆ คือ มีคนทักว่า เอา dataframe frameworks benchmark มารันใหม่ แล้วพบว่า duckdb ไวกว่า polars
แต่เรื่องนี้ต้องพิสูจน์ เลยได้ความว่า… duckdb ก็มีโอกาสที่จะไวกว่าและช้ากว่า polars ทั้งคู่ ขึ้นอยู่กับสถานการณ์
Dataframe processing benchmarks (มีภาษาไทยนะ)