State of Data Engineering 2022 map by lakeFS

[zkan]

Credit: lakeFS

ดูสวยดีครับ แล้วก็ดูเป็นเครื่องมือที่ค่อนข้าง popular ในวงการด้วย

ในส่วน Git for Data นี่ไม่เคยลองใช้เลย ดูแล้ว lakeFS ก็น่าลองอยู่นะ เป็น open source ด้วย แล้วก็ส่วน ML Observability นี่ไม่เคยได้ยินชื่อสักตัวเลย

[kahnwong]

airbyte เคยลองเล่นอยู่ แต่เหมือนจะไม่ค่อยเวิกกะดาต้าขนาดใหญ่ๆ โดน OOM ก่อน และ customize อะไรมากไม่ค่อยได้ด้วย หมายถึง ingestion date/time/partition

spark อันนี้เครื่องมือหากินเลย ถถถถ

มี dvc อีกตัว เอาไว้ทำ machine learning training data versioning แต่ดูทรงแล้วเหมือนเหมาะกะงาน research หรือบ.ที่ยังไม่ได้ทำ data platform เป็นเรื่องเป็นราว

luigi เห็นว่าเป็นช่วงขาลง คนที่ใช้ๆ กันก็ไปใช้อย่างอื่นกันแล้ว

โปเกมอนเริ่มเยอะละ 55555

ลุ้นอยู่ว่า table formats ตัวไหนจะชนะ หลายเจ้าเกิ้นนนน