# ใช้ data catalog ตัวไหนกัน

**URL:** <https://discuss.dataengineercafe.io/t/data-catalog/210>\
**Category:** พูดคุยเกี่ยวกับ Data Tools ต่าง ๆ\
**Created:** [April 22, 2022, 1:02pm UTC](https://discuss.dataengineercafe.io/t/data-catalog/210 "2022-04-22T13:02:38Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![kahnwong](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/kahnwong/32/295_2.png) [@kahnwong](https://discuss.dataengineercafe.io/u/kahnwong)\
**Post date:** [April 22, 2022, 1:02pm UTC](https://discuss.dataengineercafe.io/t/data-catalog/210/1 "2022-04-22T13:02:38Z")

</div>

เมื่อมีข้อมูลเยอะระดับนึง ก็จะเริ่มเหนื่อยตอนทำงานเพราะลืม ว่า มีตารางอะไรบ้าง attribute ชื่ออะไร คำอธิบาย attribute ล่ะอยู่ไหน! data type ล่ะ แล้วตารางนี้มันเกิดมายังไง ใครใช้ต่อ

ปัญหาโลกแตกระดับนี้ ก็เลยมีนวัตกรรมที่เรียกว่า data catalog  
ใน [GitHub - opendatadiscovery/awesome-data-catalogs: 📙 Awesome Data Catalogs and Observability Platforms.](https://github.com/opendatadiscovery/awesome-data-catalogs) มีโพยให้เลือกหลายอันอยู่ ทั้งฟรีและเสียตัง (ค่า server ไม่นับนะ ฮาาาา)

ที่บ.เราใช้ Amundsen เพราะตอนนั้นเหมือนว่ามันจะมีแต่ตัวนี้ที่ทำเสร็จเยอะสุด (แต่ตอนนี้มันก็ยังไม่เสร็จทุกอย่างนะ 555)

features ที่ชอบๆ ก็มี data lineage & data preview

อันนี้หน้าตา

 ![image](https://canada1.discourse-cdn.com/flex035/uploads/dataengineercafe/original/1X/f58515657de902e5928b3125d94f26e623f7f45c.png)

มุมบนขวา มี preview กะ data lineage ให้ดู

 ![image](https://canada1.discourse-cdn.com/flex035/uploads/dataengineercafe/original/1X/5bd47348ff798815af78383748bcce39eab4ff0f.png)

 ![image](https://canada1.discourse-cdn.com/flex035/uploads/dataengineercafe/original/1X/567c57f128246c18c68596c7738139b907466c5d.png)

---

<div class="post-metadata">

**Author:** ![zkan](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/zkan/32/2_2.png) [@zkan](https://discuss.dataengineercafe.io/u/zkan)\
**Post date:** [April 27, 2022, 12:18am UTC](https://discuss.dataengineercafe.io/t/data-catalog/210/2 "2022-04-27T00:18:16Z")

</div>

เคยลองจะใช้ DataHub แต่ด้วย resource + budget ที่มีอย่างน้อยนิด 😂 ตอนนี้ทีมผมเลยมาเน้นใช้ dbt เป็นหลักเลย

 ![Lineage Graph in dbt](https://canada1.discourse-cdn.com/flex035/uploads/dataengineercafe/original/1X/e7f1f9d09dc4f35aa2e9f0bebd924473ca615078.jpeg)  
(อันนี้แอบเอาที่น้องในทีม @atb ทำไว้มา)

---

<div class="post-metadata">

**Author:** ![kahnwong](https://yyz1.discourse-cdn.com/flex035/user_avatar/discuss.dataengineercafe.io/kahnwong/32/295_2.png) [@kahnwong](https://discuss.dataengineercafe.io/u/kahnwong)\
**Post date:** [April 27, 2022, 5:12am UTC](https://discuss.dataengineercafe.io/t/data-catalog/210/3 "2022-04-27T05:12:26Z")

</div>

ฮ่าๆ เครื่องไม้เครื่องมือเยอะ แล้วแต่ชอบ

ไปเจออีกตัวนึงมา [GitHub - open-metadata/OpenMetadata: Open Standard for Metadata. A Single place to Discover, Collaborate and Get your data right.](https://github.com/open-metadata/OpenMetadata)  
แต่เหมือนว่าตัวนี้ integrate กะ airflow ลึกไปหน่อย ใครใช้ airflow อยู่แล้วก็โชคดีไป แต่ข้อมูล metadata เยอะจริง

เลือกเครื่องมือแต่ละตัว ต้องดู ecosystem มันด้วย ฮาาาา