สิ่งที่เหมือนกันในการจัดเก็บข้อมูลไม่ว่าจะเป็นแบบ Cloud, Lake และ Warehouse ก็คือ ทั้งหมดล้วนเป็นแพลตฟอร์มการจัดการข้อมูลแบบรวมศูนย์ สถาปัตยกรรมแบบนี้เป็นพื้นฐานให้แก่การวิเคราะห์ข้อมูลทางธุรกิจ ทำให้ทีมงานสามารถเรียนรู้พฤติกรรมลูกค้า ตลาดและการปฏิบัติงานได้
แต่หลายครั้งแพลตฟอร์มข้อมูลแบบรวมศูนย์ก็ไม่สามารถตอบสนองความต้องการของธุรกิจยุคใหม่ได้ ด้วยจำนวนข้อมูล ความต้องการข้อมูลธุรกิจเชิงลึกและการวิเคราะห์ที่เพิ่มขึ้น แพลตฟอร์มรวมศูนย์บางแพลตฟอร์มได้รวม “แหล่งข้อมูลที่แท้จริงเพียงแห่งเดียว” จนกลายเป็นปัญหาคอขวดที่ใหญ่ขึ้นเรื่อยๆ
Ken Collier ผู้อำนวยการแผนก Data Science & Engineering บริษัท Thoughtworks ได้เผยถึงความท้าทายใหม่ของแพลตฟอร์มข้อมูลแบบรวมศูนย์ไว้ว่า แม้ว่าแพลตฟอร์มข้อมูลแบบรวมศูนย์จะเอื้อให้เกิดมูลค่าทางธุรกิจ แต่ในปัจจุบันก็มีงานที่ต้องใช้การวิเคราะห์ขั้นสูงมากขึ้น ซึ่งระบบก็มักไม่สามารถรับมือได้
ความต้องการข้อมูลองค์กร ข้อมูลเชิงลึกและการวิเคราะห์ที่สูงขึ้น ทำให้ระบบแพลตฟอร์มเผชิญปัญหา 3 รูปแบบ คือ:
- รอบเวลาที่ยาวนาน: เมื่อแพลตฟอร์มรวมศูนย์ขยายตัวขึ้น เวลาในการนำเข้าข้อมูลใหม่ก็นานขึ้นด้วย ทำให้ทีมงานตอบสนองความต้องการของธุรกิจที่เปลี่ยนไปได้ยากและลดคุณค่าของการส่งข้อมูลใหม่อย่างมีนัยยะสำคัญ
- ค่ากรรมสิทธิ์ทีมีราคาสูง: แพลตฟอร์มข้อมูลรวมศูนย์มักสร้างบนเทคโนโลยีที่จดทะเบียนและมีราคาแพงซึ่งไม่เหมาะสำหรับวิทยาศาสตร์ข้อมูลและการวิจัย และเมื่อข้อมูลมีมากขึ้น ค่าใช้จ่ายและการทำงานที่เกี่ยวข้องกับการรักษา Data warehouse และ Data lake ก็เพิ่มขึ้นเช่นกัน
- ผูกมัดด้วยระบบเก่า: หลายองค์กรสร้างสถาปัตยกรรมข้อมูลรวมศูนย์ไว้ซับซ้อนมากจนการเปลี่ยนแปลงแทบเป็นไปไม่ได้ ความสามารถในการปรับตัวและปรับใช้ระบบที่ดีที่สุดในการจัดการข้อมูลใหม่ๆ นั้นแลกมากับการได้ผลลัพธ์ที่ดีที่สุด
ปัญหาเหล่านี้ทำให้แพลตฟอร์มข้อมูลแบบรวมศูนย์ ไม่สามารถให้ข้อมูลเชิงลึกที่มีคุณค่าจากแหล่งข้อมูลจริงเพียงแห่งเดียวได้ จึงถึงเวลาแล้ว ที่ต้องพิจารณาถึงแนวทาง “แหล่งรวมทุกสิ่งที่สำคัญไว้ที่เดียว” กันใหม่แล้ว
มาทำความรู้จักกับ Data Mesh
ทฤษฎีเบื้องหลังแพลตฟอร์มข้อมูลรวมศูนย์นั้นยังใช้ได้ แต่ในความเป็นจริง แผนกธุรกิจที่แตกต่างกันนั้น ต้องการมุมมองของข้อมูล เทคนิคการจัดการข้อมูล รวมทั้งกรณีใช้งานที่สร้างมูลค่ามากยิ่งขึ้น การพยายามรวมข้อมูลองค์กรทั้งหมดไว้ในแพลตฟอร์มเดียวจึงกลายเป็นปัญหา เพราะความหลากหลายของการใช้งานและสเกลของแพลตฟอร์มที่เพิ่มขึ้น
หนึ่งในปัญหาหลักคือ การสร้างมูลค่าใหม่ที่ล่าช้า เพราะการรวมแหล่งข้อมูลใหม่ใช้เวลาหลายเดือนและอาจไม่ตอบโจทย์ที่แตกต่างกันในแต่ละแผนก ยิ่งไปกว่านั้นผู้ใช้ข้อมูลส่วนใหญ่ไม่ได้ต้องการเข้าถึงข้อมูลองค์กรทั้งหมด แต่ต้องการข้อมูลเชิงลึกที่เชื่อถือได้และเชื่อมถึงกัน พูดง่ายๆ ก็คือ เป็นข้อมูลเฉพาะในฐานะผลิตภัณฑ์ (product)
ข้อมูลจะสอดคล้องกับแผนกต่างๆ ไม่ว่าจะเป็นการขาย การเงิน หรือการจัดการคลังสินค้าและกลายเป็น product ใน data mesh โดยแต่ละแผนกรับผิดชอบ data product และความต้องการต่างๆ ของผู้ใช้งาน ในขณะเดียวกันนโยบายกำกับดูแลจะคอยรักษาความสามารถในการทำงานร่วมกันไว้ แนวทางการจัดการข้อมูลแบบกระจายไปตามแผนกนี้ทำให้ทีมงานเกิดความรู้สึกเป็นเจ้าของและมีอิสระในการทดลองจัดการข้อมูลแบบใหม่ๆ เพื่อให้เกิดประโยชน์สูงสุด
ในมุมมองธุรกิจนั้น Data Mesh จะให้ผู้ที่สามารถเห็นคุณค่าของชุดข้อมูลมากที่สุดเป็นคนทำงาน ปัญหาคอขวดจึงหมดไป เพราะทุกคนสามารถเข้าถึง data product ที่ต้องการได้ รวมถึงสามารถบริการและขยายชุดข้อมูลเฉพาะของตัวเองได้
Thoughtworks นำ Data Mesh ไปใช้เพิ่มเป็นทางเลือกในบริษัท Healthcare ที่ใช้ระบบคลังข้อมูล (data warehouse) ในช่วงการระบาดของโควิด-19 โดยองค์กรสามารถติดตั้ง data product ตัวใหม่ใน Data Mesh พร้อมพัฒนาชุดแอปลิเคชันดูแลสำหรับสมาชิก การมีข้อมูลแบบ real-time ทำให้ทีมสามารถสร้างข้อมูลเชิงลึก สอนโมเดลและคาดการณ์เทรนด์ได้ภายใน 13 วัน ซึ่งระบบคลังข้อมูลองค์กรแบบเก่าไม่สามารถทำได้
การจัดการข้อมูล
Data Mesh เป็นการรวมเทคโนโลยีใหม่ล่าสุดมาสร้างกรอบแนวทางแบบใหม่ในการจัดการข้อมูล เพื่อตอบสนองความต้องการขององค์กรและทีมยุคใหม่
โดย Data Mesh สร้างอยู่บนหลักการออกแบบแพลตฟอร์มที่ทุกคนสามารถใช้งานเองได้ (self-serve) ทำให้ทีมงานสร้าง data product ได้ การสร้าง data product ใหม่ช่วยลดงานจัดการที่เกิดขึ้นจากการใช้แพลตฟอร์มข้อมูลรวมศูนย์ได้มหาศาล
Data Mesh ยังใช้หลักการ Product Thinking ด้วย ทีมสามารถเห็นชุดข้อมูลที่ได้เลือกไว้เป็น product ได้ จากนั้น product เหล่านี้ก็จะถูกจัดการเหมือน product ที่ออกไปสู่ลูกค้า
ทั้งการออกแบบแพลตฟอร์มและหลักการที่ตระหนักถึง product ช่วยให้การจัดการข้อมูลแบบแยกออกจากศูนย์รวมเป็นความจริงมากขึ้น
การใช้งานวัฏจักรต่อเนื่องของข้อมูลเชิงลึก
Data Mesh ใช้ปลดล็อคข้อมูล ส่งเสริมทีมงานและลดความเฉื่อยที่เกิดจากแพลตฟอร์มข้อมูลแบบรวมศูนย์ได้ดี และคือก้าวกระโดดไปสู่นวัตกรรมที่ผู้นำด้านธุรกิจและเทคโนโลยีพยายามคิดค้นมาหลายทศวรรษ นั่นก็คือการใช้งานวัฏจักรต่อเนื่องของข้อมูลเชิงลึก
Data Mesh ช่วยแก้ไขปัญหาทั้งหมดได้พร้อมกัน ซึ่งได้แก่:
- Data product ที่ผู้ใช้งานสร้างขึ้นเองตามความต้องการช่วยปลดล็อกข้อมูลที่มีมูลค่าอย่างรวดเร็ว
- การเข้าถึง Product อย่างเท่าเทียมช่วยเร่งให้เกิดข้อมูลเชิงลึก ทำให้ข้อมูลถึงมือคนที่ดำเนินการได้
- ทีมงานสามารถอัพเดต Data product ได้โดยตรงจากการมองและวัดผลกระทบของการเปลี่ยนแปลงที่เกิดขึ้น
นี่คือพลังของการเชื่อมโยงข้อมูลและผู้คนที่ต้องการมันและรู้จักมันดีที่สุดไว้ด้วยกัน นี่คือสิ่งที่ Data Mesh ทำได้
