แนะนำให้อ่านหนังสือเล่มนี้ครับ (โหลดฟรี แล้วก็ควรซื้อเก็บไว้ อิอิ) ครบทุกเรื่องของ data engineering
ถ้าเรื่อง analytics อาจจะลองดูเรื่อง modern data stack ครับ เราทำแนว ELT คือ extract → load เข้า data warehouse ก่อน แล้วค่อย transform บน data warehouse เสร็จแล้วก็ค่อยเอา scheduler มารัน jobs ต่าง ๆ หลังจากนั้นค่อย ๆ ขยับไปแบบ advanced มากขึ้น คือมี data lake / lakehouse เพื่อ transform ข้อมูลต่อ อะไรประมาณนี้ครับ
ส่วนเรื่อง provide data ให้กับทีมทำ APIs พวกนี้ก็คิดว่าน่าจะใช้แนวคิด ELT ได้เช่นกันครับ หรือลองดูแนวคิด reverse ETL ก็ได้ครับ เราปั่นข้อมูลใน data warehouse นี่แหละ แล้วก็ไหลข้อมูลออกไปที่ถังข้อมูลของฝั่ง app
แล้วก็ถ้าเป็นคนแรก แล้วก็น่าจะเป็นคนเดียวในองค์กร ผมแนะนำว่าให้พยายามใช้เครื่องมือเท่าที่จำเป็นจริง ๆ ก่อน เอาเท่าที่เราดูแลไหว เพราะงานของเราจะไม่ใช่แค่ setup ขึ้นมาครับ เรื่องการ maintenance แล้วก็ data quality นี่ปวดหัวมากกว่าเยอะมาก ดังนั้นถ้าเรามีเครื่องมือเท่าที่จำเป็นที่เราเอาอยู่ ชีวิตเราจะสบายครับผม
แล้วก็ทั้งนี้ทั้งนั้น solution ไม่ตายตัวนะครับ ขึ้นอยู่กับองค์กร เพราะว่าแต่ละองค์กรปัญหาไม่ได้เหมือนกันเป๊ะ ๆ แล้วก็ทีมของเราเลย แบบไหนที่เหมาะกับเราที่สุด ต้อง experiment อยู่เรื่อย ๆ 