# Cloud Providers ต่างๆ **URL:** https://discuss.dataengineercafe.io/c/cloud-providers/15.md [Latest](https://discuss.dataengineercafe.io/latest.md) · [Categories](https://discuss.dataengineercafe.io/categories.md) · [Tags](https://discuss.dataengineercafe.io/tags.md) --- ## [About the Cloud Providers ต่างๆ](https://discuss.dataengineercafe.io/t/about-the-cloud-providers/31)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0
ใครใช้ Cloud ของอะไรกันอยู่บ้างเอ่ย มีอะไรดี อะไรเจ๋งบ้าง --- ## [AWS มี Managed Service สำหรับ Apache Flink แล้วเรียบร้อย](https://discuss.dataengineercafe.io/t/aws-managed-service-apache-flink/628)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [September 18, 2023, 9:27am UTC](https://discuss.dataengineercafe.io/t/aws-managed-service-apache-flink/628 "2023-09-18T09:27:40Z")
จริง ๆ มันคือ Kinesis Data Analytics นั่นแหละ อิอิ Today, AWS is renaming Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink. ถือเป็นข่าวดีอีกข่าวหนึ่งเลย เริ่มเห็น Cloud ต่าง ๆ หยิบเอา Open S… --- ## [เครื่องมือ CLI "aws-mwaa-local-runner" สำหรับรัน MWAA บนเครื่องตัวเอง](https://discuss.dataengineercafe.io/t/cli-aws-mwaa-local-runner-mwaa/607)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [August 1, 2023, 10:58am UTC](https://discuss.dataengineercafe.io/t/cli-aws-mwaa-local-runner-mwaa/607 "2023-08-01T10:58:44Z")
เผื่อใครใช้ MWAA อยู่ ตัวนี้น่าลองใช้ดูครับ จะได้ทดสอบบนเครื่องตัวเองได้ The CLI builds a Docker container image locally that’s similar to a MWAA production image. This allows you to run a local Apache Airflow environm… --- ## [BigQuery มี Data Lineage แล้ว!](https://discuss.dataengineercafe.io/t/bigquery-data-lineage/504)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [February 12, 2023, 8:00am UTC](https://discuss.dataengineercafe.io/t/bigquery-data-lineage/504 "2023-02-12T08:00:20Z")
ณ วันนี้ feature นี้ (เป็น feature หนึ่งใน Dataplex) อยู่ในช่วง preview เรียบร้อยแล้ว สามารถลองเล่นกันได้นะ หน้าตาเป็นประมาณนี้เลย โค้ด SQL ที่เราต้องเขียนก็จะเป็นแนว data transformation นะ ใช้ CREATE TABLE AS SEL… --- ## [ในที่สุดก็มา! ใช้ Managed Airflow ใน Azure Data Factory ได้แล้วจ้า](https://discuss.dataengineercafe.io/t/managed-airflow-azure-data-factory/502)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [February 3, 2023, 1:08am UTC](https://discuss.dataengineercafe.io/t/managed-airflow-azure-data-factory/502 "2023-02-03T01:08:13Z")
เมื่อวานเหมือนเห็นใน Airflow community ดูเฮฮา ครึกครื้น ตื่นเช้ามาลองเข้าไปดูก็พบว่า… Managed Airflow เข้า Azure แล้ววววววววว~ สามารถใช้งานใน Azure Data Factory ได้แล้วตอนนี้ :star\_struck: ถือเป็นข่าวดีตั้งแต่ต้นปีของชา… --- ## [Google Cloud Next 2022 | 11-14 ตุลาคม นี้](https://discuss.dataengineercafe.io/t/google-cloud-next-2022-11-14/407)
**Author:** [@fonylew](https://discuss.dataengineercafe.io/u/fonylew)\ **Replies:** 4\ **Last updated:** [September 22, 2022, 4:35pm UTC](https://discuss.dataengineercafe.io/t/google-cloud-next-2022-11-14/407 "2022-09-22T16:35:41Z")
Google Cloud Next 2022 งาน Google Cloud ที่ใหญ่ที่สุดประจำปี เป็นงานที่เน้นเปิดตัว product ใหม่ รวมถึงมี session เพื่ออธิบาย use case ต่าง ๆ ที่น่าสนใจ จัดแบบออนไลน์ วันที่ 11-14 ตุลาคม 2565 นี้ ไปลงทะเบียนกันฟรีๆ ได้ที… --- ## [Google เปิดตัว BigLake รวมพลัง Data Warehouses กับ Lakes เข้าไว้ด้วยกัน](https://discuss.dataengineercafe.io/t/google-biglake-data-warehouses-lakes/180)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 2\ **Last updated:** [September 22, 2022, 4:16pm UTC](https://discuss.dataengineercafe.io/t/google-biglake-data-warehouses-lakes/180 "2022-09-22T16:16:25Z")
เพิ่งเปิดตัวไปตอนต้นเดือนเลย อย่างโหด! ถ้าใครเคยได้ยินคำว่า lakehouse จาก Databricks มา สิ่งๆ นี้มันมาอยู่บน GCP แล้วครับ :star\_struck: ใช้ชื่อว่า BigLake นั่นเอง BigLake unifies data warehouses and data lakes into a c… --- ## [Google Batch เปิดให้ preview แล้ว](https://discuss.dataengineercafe.io/t/google-batch-preview/396)
**Author:** [@fonylew](https://discuss.dataengineercafe.io/u/fonylew)\ **Replies:** 1\ **Last updated:** [September 2, 2022, 8:08am UTC](https://discuss.dataengineercafe.io/t/google-batch-preview/396 "2022-09-02T08:08:46Z")
เพิ่งได้ดู video ล่าสุดของ Google Batch ไป ถือว่าเป็น product พื้นฐานที่น่าสนใจเลยค่ะ เอาไว้สำหรับรัน job อะไรก็ได้ จะทำเป็น container หรือไม่ใช้ container ก็ได้ submit ผ่าน command-line ได้เลย ควบคู่กับ job definition ท… --- ## [Google Cloub Pub/Sub ต่อ BigQuery ตรง ๆ ได้แล้ว~](https://discuss.dataengineercafe.io/t/google-cloub-pub-sub-bigquery/364)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 1\ **Last updated:** [August 6, 2022, 9:08am UTC](https://discuss.dataengineercafe.io/t/google-cloub-pub-sub-bigquery/364 "2022-08-06T09:08:39Z")
เพิ่งเห็นข่าวนี้เลย น่าจะเป็นข่าวดีกับหลาย ๆ คนที่เป็นแฟนคลับ BigQuery (ผมด้วยคนหนึ่ง อิอิ) ก่อนหน้านี้เราต้องเขียน pipeline อย่างเช่น Dataflow เพื่อ ingest ข้อมูลจาก Pub/Sub เข้า BigQuery ซึ่งตั้งแต่วันที่ 29 ก.ค. ที… --- ## [Amazon MSK Serverless ตอนนี้ Generally Available แล้ววว~ (Apr 28, 2022)](https://discuss.dataengineercafe.io/t/amazon-msk-serverless-generally-available-apr-28-2022/224)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [April 29, 2022, 1:51am UTC](https://discuss.dataengineercafe.io/t/amazon-msk-serverless-generally-available-apr-28-2022/224 "2022-04-29T01:51:15Z")
AWS ประกาศมาเมื่อวันที่ 28 เม.ย. 65 ที่ผ่านมานี่เองครับ ตอนนี้ Generally Available (GA) แล้วววว ใครเป็นสาย serverless น่าจะถูกใจกับข่าวนี้ :laughing: เราสามารถยกให้ AWS จัดการ capacity planning และเรื่อง scale ให้เราเลย … --- ## [ปกติการส่งไฟล์ออกจาก azure ไป cloud provider เจ้าอื่น ปกติใช้วิธีไหนกันบ้างครับ](https://discuss.dataengineercafe.io/t/azure-cloud-provider/207)
**Author:** [@narumitkitiweth](https://discuss.dataengineercafe.io/u/narumitkitiweth)\ **Replies:** 3\ **Last updated:** [April 23, 2022, 2:50am UTC](https://discuss.dataengineercafe.io/t/azure-cloud-provider/207 "2022-04-23T02:50:54Z")
พอดีว่าทำ Data pipeline แล้วใช้ ADF เป็นหลัก ไปเจอมาว่าเราสามารถส่งไฟล์แบบ schedule โดยใช้ RESTAPI ที่คุยกันด้วย HTTP ได้ แต่มันมีข้อจำกัดเรื่อง Token/secret key ของแต่ละเจ้าก็กำหนดไม่เหมือนกัน เลยอยากทราบว่าปกติใช้วิธ… --- ## [วิธีใส่ Private Key หรือ Secret ที่มี Special Char ใน AWS Secrets Manager](https://discuss.dataengineercafe.io/t/private-key-secret-special-char-aws-secrets-manager/166)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 4\ **Last updated:** [April 22, 2022, 1:06pm UTC](https://discuss.dataengineercafe.io/t/private-key-secret-special-char-aws-secrets-manager/166 "2022-04-22T13:06:59Z")
ปกติแล้ว private key จะมี special char อย่างเช่น \\n อยู่ แล้วทีนี้ ถ้าเราใส่ไว้ในช่องแบบนี้ใน AWS Secrets Manager แล้ว จังหวะที่เราเซฟไป AWS จะ escape ตัว \\ ให้เราทันทีแบบนี้ ทำให้เราไม่สามารถใช้ได้ วิธีแก้ ง่ายม… --- ## [เครื่องมือสำหรับ sync secrets จาก AWS Secrets Manager ไป Kubernetes Cluster](https://discuss.dataengineercafe.io/t/sync-secrets-aws-secrets-manager-kubernetes-cluster/178)
**Author:** [@atb](https://discuss.dataengineercafe.io/u/atb)\ **Replies:** 2\ **Last updated:** [April 22, 2022, 12:42pm UTC](https://discuss.dataengineercafe.io/t/sync-secrets-aws-secrets-manager-kubernetes-cluster/178 "2022-04-22T12:42:49Z")
ถ้าอยากใช้งาน secrets จาก AWS Secrets Manager ใน Kubernetes Cluster อาจจะต้องหาเครื่องมือเข้ามาช่วย เครื่องมือที่ผมคิดว่าน่าสนใจ คือ 2 ตัวนี้ครับ 1. External Secrets Operator (ESO) :star\_struck: อัปเดต Kubernetes Se… --- ## [5 steps to set up Fluent Bit DaemonSet to send container logs to CloudWatch Logs on Amazon EKS](https://discuss.dataengineercafe.io/t/5-steps-to-set-up-fluent-bit-daemonset-to-send-container-logs-to-cloudwatch-logs-on-amazon-eks/167)
**Author:** [@atb](https://discuss.dataengineercafe.io/u/atb)\ **Replies:** 1\ **Last updated:** [April 7, 2022, 3:43pm UTC](https://discuss.dataengineercafe.io/t/5-steps-to-set-up-fluent-bit-daemonset-to-send-container-logs-to-cloudwatch-logs-on-amazon-eks/167 "2022-04-07T15:43:58Z")
มา set up Fluent Bit DaemonSet บน Amazon EKS cluster ให้รวบรวมและส่ง logs จาก containers ไปที่ CloudWatch Logs แบบไว ๆ กันครับ Prerequisites Amazon EKS cluster AWS CLI eksctl kubectl :dove: Let’s start! 1. Create a… --- ## [ขุมทรัพย์! AWS Data and Analytics resource hub](https://discuss.dataengineercafe.io/t/aws-data-and-analytics-resource-hub/18)
**Author:** [@zkan](https://discuss.dataengineercafe.io/u/zkan)\ **Replies:** 0\ **Last updated:** [November 13, 2021, 1:36am UTC](https://discuss.dataengineercafe.io/t/aws-data-and-analytics-resource-hub/18 "2021-11-13T01:36:11Z")
อันนี้ดีงามมาก แฟนๆ AWS ห้ามพลาดกันเลยทีเดียว :smiley: Get deep dives, modernization best practices, step-by-step tutorials, and demos to help you remove technical roadblocks, extract value from your data, and innovate…