เรื่องการทำ SSIS แบบเมื่อ Data Source ต้นทางเปลี่ยน Data Destination ปลายทางเปลี่นนตาม

General Discussion เรื่อง Data Engineering
,
1

ผมทำการดึงข้อมูลจาก Data Source ต้นทางโดยทำเป็นแบบ Application web ใน Visual Studio Code โดยดึงข้อมูลจาก ใน Sql Server จากอีกที่ นึงไปยัง Sql Server อีกที่นึง โดยใช้ javaScript โดยตอนนี้ตั้งว่าให้มันเช็ค เวลาล่าสุดจากทั้งใน Data Destination กับ Data Source ทุกๆ 5 วินาที ถ้า Data Source มีเวลาล่าสุดมากกว่าใน Data Destination ก็จะให้มันไปใช้ฟังก์ชั่นดึงข้อมูลหลัก ที่ทำเอาไว้ โดยตอนนี้ทำเป็นแบบ เปิด connection ใหม่ทุกครั้งที่ใช้งาน และ ปิด connection ทุกครั้งหลังใช้งานเสร็จ คืออยากสอบถามว่าแบบนี้มันดีไหมครับ หรือใช้แบบ ใช้แบบ Connection Pool คือเชื่อมต่อตลอดยาวๆ อาจจะ 1 ชั่วโมงและปิดเชื่อมต่อใหม่ หรือมีวิธีการที่ดีกว่านี้ไหมครับ ***คือกลัวว่าวิธีนี้จะเป็นการทำให้ใช้ทรัพยากรของ Sql Server ต้นทางมากเกินไป มีวิธีที่กินทรัพยากรน้อยๆ ไหมครับ