Data Platforms คือชุดเทคโนโลยีที่ตอบสนองความต้องการข้อมูลแบบ end-to-end ขององค์กรโดยรวม ช่วยให้สามารถได้มา การจัดเก็บ การจัดเตรียม การส่งมอบ และการกำกับดูแลข้อมูลของคุณ รวมถึงชั้นความปลอดภัยสำหรับผู้ใช้และแอปพลิเคชัน แพลตฟอร์มข้อมูลเป็นกุญแจสำคัญในการปลดล็อกคุณค่าของข้อมูลของคุณ

แต่แพลตฟอร์มข้อมูลอาจเป็นเรื่องที่ซับซ้อนได้ อะไรอยู่เบื้องหลังแพลตฟอร์มข้อมูลกันแน่? คุณมีวิธีการออกแบบอย่างไร? และความแตกต่างระหว่างแพลตฟอร์มข้อมูลลูกค้า แพลตฟอร์มข้อมูลขนาดใหญ่ และแพลตฟอร์มข้อมูลการดำเนินงานคืออะไร?

ข้อดีของแพลตฟอร์มข้อมูล

ในช่วง 20 ปีที่ผ่านมา ผู้จำหน่ายด้านไอทีพยายามพัฒนาและนำเสนอโซลูชั่นเพื่อจัดการกับข้อมูลจำนวนมากที่บริษัทต่างๆ เผชิญจากทั้งภายในและภายนอกธุรกิจ

Cloud ถือเป็นบรรทัดฐานใหม่และคลังข้อมูลบนคลาวด์ได้รับการประมวลผลแบบขนานจำนวนมาก ไปป์ไลน์ข้อมูลสามารถรองรับข้อมูล Terabyte ได้ พื้นที่จัดเก็บข้อมูลเริ่มมีราคาถูกและรวดเร็ว และ Flamework การประมวลผลข้อมูลอย่าง Spark ก็สามารถรองรับข้อมูลปริมาณมากได้ NoSQL เพิ่มฐานข้อมูลเชิงสัมพันธ์และกราฟเพิ่มภาษาดั้งเดิม เช่น SQL ในขณะที่แอปพลิเคชัน AI/ML ได้แพร่หลายไปทุกที่

แม้ว่าเทคโนโลยีแต่ละชิ้นเหล่านี้จะเติบโตเต็มที่แล้ว แต่องค์กรส่วนใหญ่ก็ไม่สามารถบูรณาการเครื่องมือเหล่านี้ได้ ผลลัพธ์ที่ได้คือไซโลข้อมูลที่มักจะไม่สามารถปรับขนาดได้ มีข้อมูลที่ซ้ำกัน มักจะล้าสมัย ล็อกอยู่ในโซลูชันที่เป็นกรรมสิทธิ์ และไม่มีชั้นการรักษาความปลอดภัยชั้นเดียว

แพลตฟอร์มข้อมูลสมัยใหม่พยายามแก้ไขปัญหานี้ เป็นการผสมผสานระหว่างเทคโนโลยีที่ทำงานร่วมกันได้ ปรับขนาดได้ และเปลี่ยนได้ ซึ่งทำงานร่วมกันเพื่อส่งมอบความต้องการข้อมูลโดยรวมขององค์กร

Data Platforms vs Big Data Platforms

ผู้คนมักอ้างถึงแพลตฟอร์มข้อมูลที่มีชื่อต่างกัน บางครั้งชื่อเหล่านี้ก็มีความหมายเหมือนกัน บางครั้งพวกเขาอ้างถึงข้อมูลประเภทต่างๆ ที่พวกเขาโฮสต์และประเภทของปริมาณงานที่พวกเขาประมวลผล เพื่อให้สิ่งต่าง ๆ ซับซ้อนยิ่งขึ้น มีการทับซ้อนกันระหว่างกรณีการใช้งานบางกรณี

• แพลตฟอร์มข้อมูลองค์กร (EDP) ให้การเข้าถึงสินทรัพย์ข้อมูลขององค์กรแบบรวมศูนย์ โดยทั่วไปแล้ว EDP จะมีอยู่ในโลกภายในองค์กรหรือโลก Hybrid และประกอบด้วยแหล่งข้อมูลแบบดั้งเดิม ตัวอย่างเช่น EDP สามารถรวมฐานข้อมูล OLTP คลังข้อมูล และ Data Lake EDP ยังรวมถึงเครื่องมือและกระบวนการในการรับข้อมูล การจัดเตรียม และการรายงานเชิงวิเคราะห์
• แพลตฟอร์มข้อมูลสมัยใหม่เป็นวิวัฒนาการตามธรรมชาติจาก EDP มีชุดความสามารถที่ยืดหยุ่นและรองรับอนาคตได้กว้างกว่า นอกเหนือจาก EDP โดยทั่วไปแล้ว Modern Data Platform เกิดขึ้นจากความจำเป็นในการจัดเก็บและประมวลผลข้อมูลที่หลากหลายและปริมาณต่างๆ ตัวอย่างเช่น อาจเปิดใช้งานการประมวลผลข้อมูลการสตรีม นอกเหนือจากปริมาณงานแบบแบตช์แบบดั้งเดิมของ EDP ซึ่งอาจช่วยให้สามารถประมวลผลข้อมูลที่มีโครงสร้าง กึ่งโครงสร้าง หรือไม่มีโครงสร้างได้ในวงกว้าง พัฒนาแอปพลิเคชัน AI/ML และดำเนินการที่ซับซ้อน เช่น การประมวลผลภาษาธรรมชาติ (NLP)
  แพลตฟอร์มข้อมูลสมัยใหม่มักจะใช้เทคโนโลยีคลาวด์สำหรับโมเดลต้นทุนที่เอื้อมถึง ความสามารถในการปรับขนาดที่ยืดหยุ่น และบริการที่มีการจัดการที่ยืดหยุ่น อย่างไรก็ตาม สิ่งสำคัญคือต้องจำไว้ว่า MDP ไม่ได้อยู่บนระบบคลาวด์ทั้งหมดเสมอไป
• แพลตฟอร์มข้อมูลระบบคลาวด์ (อย่าสับสนกับ CDP—แพลตฟอร์มข้อมูลลูกค้า) เป็นคำที่รวบรวมทั้งหมดสำหรับแพลตฟอร์มข้อมูลที่สร้างขึ้นด้วยเทคโนโลยีการประมวลผลแบบคลาวด์และการจัดเก็บข้อมูลทั้งหมด ตัวอย่างเช่น แพลตฟอร์มข้อมูลระบบคลาวด์สามารถประกอบด้วยพื้นที่จัดเก็บอ็อบเจ็กต์ไม่จำกัด ฐานข้อมูลเชิงสัมพันธ์และฐานข้อมูล NoSQL ที่มีการจัดการ คลังข้อมูล MPP คลัสเตอร์ Spark สมุดบันทึกการวิเคราะห์ และคิวข้อความและมิดเดิลแวร์ที่รวมเข้าด้วยกัน
• แพลตฟอร์มข้อมูลสมัยใหม่สามารถรองรับทั้ง EDP และแพลตฟอร์มข้อมูลบนคลาวด์ ตัวอย่างเช่น EDP ขององค์กรอาจประกอบด้วยที่เก็บข้อมูล ERP, Supply Chain Management, CRM และการเงิน ธุรกิจอาจตัดสินใจที่จะเพิ่มขีดความสามารถของตนโดยการเพิ่มบริการเพิ่มเติมจากบริการต่างๆ บริการเหล่านั้นทั้งหมดอาจมาจาก Cloud Data Platform

• ฐานข้อมูลระบบคลาวด์เป็นส่วนหนึ่งของชุดระบบคลาวด์สาธารณะ เหล่านี้เป็นฐานข้อมูลเชิงสัมพันธ์และไม่เชิงสัมพันธ์ที่ได้รับการจัดการทั้งหมดในรูปแบบบริการ ซึ่งรวมถึงซอฟต์แวร์ โครงสร้างพื้นฐาน การแพตช์ ความพร้อมใช้งานสูง ความสามารถในการปรับขนาด และการสำรองข้อมูล ลูกค้าไม่ต้องกังวลกับการทำงานของฐานข้อมูล
• แพลตฟอร์มการวิเคราะห์ข้อมูล แพลตฟอร์มข้อมูลขนาดใหญ่ หรือแพลตฟอร์มการวิเคราะห์ข้อมูลขนาดใหญ่เป็นแพลตฟอร์มข้อมูลเฉพาะสำหรับวัตถุประสงค์ในการวิเคราะห์ข้อมูล เป็น Collection บริการและฟีเจอร์ที่ช่วยให้ผู้ใช้สามารถเรียกใช้การสืบค้นที่ซับซ้อนกับข้อมูลจำนวนมหาศาลในรูปแบบใดก็ได้ จากนั้นวิเคราะห์ รวม และสำรวจผลลัพธ์การสืบค้นเหล่านั้นเพื่อสร้างการแสดงภาพที่มีความหมาย แพลตฟอร์มการวิเคราะห์ข้อมูลมักจะรวมเครื่องมือและ Utility Big Data หลายอย่างไว้ในที่เดียว และดูแลความสามารถในการปรับขนาด ความพร้อมใช้งาน ความปลอดภัย และประสิทธิภาพการทำงานเบื้องหลัง บ่อยกว่านั้น แพลตฟอร์มการวิเคราะห์ข้อมูลเป็นส่วนหนึ่งของชุดระบบคลาวด์หรือโซลูชัน SaaS และนำเสนอในรูปแบบ Data-as-a-Service (DaaS) พลังของมันเหนือกว่าการรัน SQL แบบดั้งเดิมกับข้อมูลที่มีโครงสร้าง บ่อยครั้งที่แพลตฟอร์มการวิเคราะห์ข้อมูลใช้ร่วมกับข้อมูลการดำเนินงานจากแพลตฟอร์มข้อมูลองค์กร สมัยใหม่ หรือลูกค้า
• แพลตฟอร์มข้อมูลลูกค้า (CDP) มุ่งเน้นไปที่ข้อมูลที่เกี่ยวข้องกับลูกค้าเท่านั้น โดยรวบรวมข้อมูลลูกค้าจากหลายแหล่ง เช่น CRM ระบบธุรกรรม โซเชียลมีเดีย อีเมล เว็บไซต์ โฆษณาดิจิทัล หรือร้านค้าอีคอมเมิร์ซ ข้อมูลที่รวบรวมไว้จะสร้างโปรไฟล์ผู้ใช้ที่สมบูรณ์ซึ่งสามารถใช้เพื่อวัตถุประสงค์ทางการตลาดและทางธุรกิจอื่นๆ เช่น การแบ่งส่วนพฤติกรรม แม้ว่า CRM แบบดั้งเดิมมักจะพูดถึงการให้มุมมองลูกค้าแบบ 360 องศา ซึ่งแตกต่างจาก CRM แต่ CDP สามารถรวบรวมข้อมูลลูกค้าทั้งที่รู้จักและไม่ระบุชื่อจากหลายแหล่ง

Modern Data Architecture: Elements of a Data Platform

การสร้างแพลตฟอร์มข้อมูลที่ทันสมัยจำเป็นต้องนำข้อมูลสมัยใหม่ (MDA) มาใช้ ซึ่งระบุวิธีการรวบรวม ล้างข้อมูล จัดเก็บ เปลี่ยนแปลง ประมวลผล และเผยแพร่สู่ผู้บริโภค ข้อมูลสมัยใหม่มีลักษณะดังต่อไปนี้:

Power to the User

ผู้ใช้ปลายทางเป็นศูนย์กลางของแพลตฟอร์มข้อมูลสมัยใหม่ แทนที่จะถูกจำกัดอยู่เพียงชุดของสินทรัพย์ข้อมูลที่ได้รับการพัฒนาล่วงหน้าและแหล่งที่มา ผู้ใช้สามารถนำข้อมูลของตนเองไปยังแพลตฟอร์ม และพัฒนาไปป์ไลน์ของตนเองเพื่อนำเข้า data cleasing, analyze และ report ข้อมูลนั้น

Power of the Hybrid Cloud

แพลตฟอร์มข้อมูลสมัยใหม่ใช้สิ่งที่ดีที่สุดทั้งในโลกภายในองค์กรและบนคลาวด์ ภายในองค์กรช่วยให้มั่นใจได้ว่าจะทำการเปลี่ยนแปลงแอปพลิเคชันแบบเดิมเพียงเล็กน้อย และระบบ Cloud ช่วยให้มั่นใจได้ถึงความจุที่ปรับขนาดได้และยืดหยุ่น พลังการประมวลผล ความพร้อมใช้งานสูง แอปพลิเคชันที่สร้างไว้ล่วงหน้า และความปลอดภัย

Shared, Virtual Data Layer