Google Cloub Pub/Sub ต่อ BigQuery ตรง ๆ ได้แล้ว~

เพิ่งเห็นข่าวนี้เลย น่าจะเป็นข่าวดีกับหลาย ๆ คนที่เป็นแฟนคลับ BigQuery (ผมด้วยคนหนึ่ง อิอิ)

ก่อนหน้านี้เราต้องเขียน pipeline อย่างเช่น Dataflow เพื่อ ingest ข้อมูลจาก Pub/Sub เข้า BigQuery ซึ่งตั้งแต่วันที่ 29 ก.ค. ที่ผ่านมา เราไม่ต้องทำแบบนั้นแล้ว เราสามารถต่อ Pub/Sub เข้ากับ BigQuery ตรง ๆ ได้เลย :muscle: แน่นอนว่า schema ก็ต้องตรงกันด้วยนะ

ตรงนี้เราได้กลิ่น trend ของ modern data platform อยู่บ้าง เอาข้อมูลจาก source โดยตรง เข้า warehouse เลย แล้วเราก็ไปทำ transformation บน warehouse :wink:

3 Likes

มีของเล่นใหม่อีกแล้ว

image

โพยที่เก็บไว้ ยังไม่ว่างเคลียร์เบยยยย ดอง backlog ต่อไป :rofl: