ความโหดของ DuckDB หาผลรวม 3 columns กับข้อมูลจำนวน 17 ล้านแถวได้ในเวลา.. 206ms

มีคนลองเล่น DuckDB กับข้อมูลขนาดประมาณ 3GB (68 ไฟล์ที่เก็บในฟอร์แมต Parquet)

เค้าลองหาผลรวมเล่น ๆ กับ 3 columns และนี่คือผลที่ได้… :scream:

206ms to sum three columns across 17 million records is pretty fast!

น้องเป็ด :duck: นี่จะโหดไปไหนเนี่ย :joy: ส่วนใครที่ยังไม่รู้จักน้องเป็ดนี่ ตามไปอ่านโพสต์ด้านล่างนี้ได้นะ

1 Like

โหดมากค่ะ ใช้กับ CSV ได้ด้วย ประทับใจมากๆ เร็วกว่ามานั่ง import เข้า Excel แน่นอนค่ะ 5555
แถมยังใช้ wildcard (*) กับชื่อไฟล์หลาย ๆ ไฟล์ได้อีก
เหมาะกับการเปิดไฟล์ locally มากค่ะ ใช้ผ่าน DBeaver ได้เลย แค่
SELECT * FROM '/Users/username/Downloads/myfile_*.csv'

1 Like