กิจกรรมที่เกิดภายใน Data Warehouse

นอกจากจะมีการ Extract-Transform-Load ที่เกิดกับ Data warehouse แล้ว ยังมีอีกหลายกิจกรรมที่จะต้องคำนึงถึง ตัวอย่างเช่น Periodically analyze

"The data warehouse is analyzed periodically by a program that examines relevant characteristics and criteria. The analysis then creates a small files in the online environment that contains succinct information about the business of the enterprise."

Pentaho - Introduction

Data Warehouse, Data Mart, Data Mining, Migrating Data, Exporting Data, Loading Data, Data Cleansing, Integrating Application, Business Intelligence

ถ้าคุณเป็นคนที่รู้จักคำเหล่านี้ คุณกำลังต้องการเครื่องมือ และวันนี้เครื่องมือที่ผมจะแนะนำคือ Pentaho

Pentaho Data Integration หรืออีกชื่อหนึ่งคือ Kettle เป็นเครื่องมือสำหรับทำ ETL Extract-Transform-Load ประกอบด้วยการทำงานแบบลากแปะ กำหนด Input และ Output ของแต่ละส่วน สามารถใช้ได้กับทั้งไฟล์ และระบบฐานข้อมูล และที่สำคัญคือ มันเป็น Opensource ที่เราสามารถเข้าไปแก้ไขส่วนต่าง ๆ เพิ่มเติมได้

ETL Extract-Transform-Load

หากต้องการวิเคราะห์ข้อมูลระดับ 10,000 ข้อมูล อย่างเป็นระบบและง่ายต่อการเปลี่ยนมุมมองแล้ว ผมก็ยังเห็นว่าทำเป็น Data Base แล้วเราก็ทำการ Query มา น่าจะเป็นวิธีที่ดีที่สุด แต่

มาตอนนี้ ก็เข้าปีที่ 9 แล้ว มันมีเครื่องมือมาช่วยเราแล้ว

เมื่อก่อนทำ ETL ด้วยวิธีมือ เพราะว่าเป็นพวก Technical Guy สรุปเป็นขั้นตอนดังนี้

1. ถ้าไฟล์มาเป็น excel (ส่วนมากเป็นอย่างนั้น) เราก็ save เป็น csv แล้วก็นำเข้าฐานข้อมูล
2. จากข้อมูลที่ได้เราก็ทำการวิเคราะห์ ว่าอยากรู้อะไรจากข้อมูลที่ได้
3. นำข้อมูลนั้นออกมาเป็นแผนภูมิ ต่าง ๆ ให้เหมาะสมกับแต่ละงาน
4. แล้วก็ย้อนกลับไปทำข้อ 1 อีก ถ้ามีการเปลี่ยนแปลงข้อมูลใหม่ ๆ
   

ดูขั้นตอนแล้วจะเห็นได้ว่า มันเป็นงานมือที่เหนื่อยเอาการ แน่นอน เราได้ยินคำว่า "Data Warehouse" มานานแล้ว และมันก็เป็นการแก้ปัญหานี้ได้ดีทีเดียว สิ่งที่ผมดำเนินการมาเกือบทั้งหมดถูกแทนที่ด้วย Application ซะแล้ว ลองไปหาอ่านดูนะครับ

http://community.pentaho.com

ผมรับรองเลยว่าทุกคนสามารถให้ application นี้เป็น แต่หลายคนคงติดตรงที่ว่า สิ่งที่คุณนั้นได้คืออะไรกันแน่

• data
• information
• knowledge

แน่นอน สำหรับคนที่เป็น Technical ทั้งหลายผ่านตรง data/information มาได้ แต่ก็จะติดตรง knowledge เพราะว่ามันคือความเข้าใจกับ ข้อมูลที่ได้มา แล้วก็นำไปใช้ให้เกิดประโยชน์นั่นเอง

บทความต่อไปจะกล่าวลึกไปยัง Pentaho ทีละส่วน นะ

Data warehouse - Chapter 1 - evolution of decision support system

วิวัฒนาการของระบบสนับสนุนการตัดสินใจ

"หากเรารู้ว่าเท คอนกรีต อย่างไร เจาะอย่างไร และรู้ว่าขันน๊อตอย่างไร เมื่อเราสร้างสะพาน เราสามารถสร้างได้โดยไม่ต้องคำนึงถึงรูปร่างหรือการใช้งานของสะพานที่เราจะสร้าง"

แน่นอนว่ารายละเอียดของข้อมูลเป็นสิ่งสำคัญของคลังข้อมูล แต่คลังข้อมูลจะต้องสร้างจากสถาปัตยกรรมอันเดียวที่มองจากภาพกว้างเป็นหลัก จากนั้นค่อยย่อยลงไปที่ละส่วน แต่รายละเอียดนั้นจะถูกมองอีกทีเมื่อมองจากภาพกว้างแล้ว

Data warehouse เกิดจากการรวมกันของข้อมูล application ที่เรียกว่า Operational data โดยอาจมีการ integrate มาจากหลายระบบ ซึ่งขบวนการดังกล่าวมีความซับซ้อนและเป็นงานที่กินเวลานาน

การพัฒนา Data warehouse มีความแตกต่างจากการพัฒนาระบบ application อย่างสิ้นเชิง การพัฒนา application นั้นพัฒนามาจากหลักการของ SDLC (Software Development Life Cycle) แต่ Data warehouse พัฒนาด้วยหลักการของ Spiral Development

ผู้ใช้งาน Data warehouse นั้นมีความต่างจากผู้ใช้งานในระบบทั่วไป เพราะขบวนการคิดของคนเหล่านี้จะมองจากการค้นหาก่อน ซึ่งไม่เหมือนกับการกำหนดความต้องการ requirement ขึ้นมาก่อน ประโยคนี้อธิบายความหมายของ user นี้ได้ดี "Give me what I say I want, and then I can tell you what i really want."

Data Warehouse บทที่ 0

หลังจากหาหนังสืออ้างอิงภาษาไทยอยู่นาน วันนี้ก็ซื้อหนังสือมาเล่มหนึ่งชื่อว่า "Building the Data Warehouse" และแน่นอนว่าหนาพอดู

จากการอ่านบทนำนั้นหนังสือเขียนไว้ว่า "Father of Data Warehouse is Inmon"