Bagaimana Arsitektur Data Warehouse?

Melengkapi posting terdahulu mengenai ‘Bagaimana Desain Data Warehouse’ dan juga pernah sedikit disinggung pada posting mengeai ‘Apakah Data Mart’,
bahwa sebenarnya ada beberapa pendekatan dalam membangun Data Warehouse.
Setiap Arsitektur Data Warehouse adalah unik karena harus menyesuaikan dengan kebutuhan bisnis User dalam area yang berbeda-beda, dimana pada setiap perusahaan adalah berbeda dalam hal kondisi bisnis dan tekanan persaingan.
Sebagian besar organisasi sengaja ataupun tidak sengaja akan mengikuti salah satu dari beberapa methodology berikut ini sebagai Blueprint untuk pengembangan Data Warehouse.

Secara klasik memang telah populer ada dua pendekatan dalam membangun Data Warehouse yaitu Top-Down Approach dan Bottom-Up Approach

1. Top-Down Approach
– Arsitektur ini biasa juga disebut dengan Hub-and-Spoke
Architecture (The Corporate Information Factory)
– Awalnya dibangun sebuah Enterprise Data Warehouse.
– Data level atomic disimpan dalam 3th Normal Form dalam
Enterprise Data Warehouse.
– Data akan di extract dari Source System dan di Load ke
dalam Data Warehouse pada level Granularity terendah
(Data level atomic).
– Data akan di Load kedalam Data Warehouse lewat Persistent
Staging Area.
– Data dalam Data Warehouse kemudian akan dibuat
Summary-nya, dibuat Dimensional dengan cara diteruskan ke
beberapa Dependent Data Mart, Data Mart ini hanya
menyimpan Data Summary yang disimpan dalam Star-Schema
atau Snowflake-Schema.
– User bisa melakukan Query baik ke Data Warehouse maupun
ke Data Mart
– Bill Inmon menganjurkan dan mempromosikan arsitektur ini

2. Bottom-Up Approach
– Arsitektur ini biasa juga disebut dengan The Data warehouse
Bus Structure
– Awalnya dibangun sebuah Dimensional Data Mart, belakangan
bisa dikembangkan menjadi beberapa Data Mart sesuai dengan
kebutuhan dan budget dari bisnis User.
– Data Mart mengandung baik Data atomic maupun Data
Summary
– Tidak ada model Normalized, semua Data Mart adalah
Dimensional yang diorganisasikan dalam Star-Schema
– Data yang diload ke Data Mart lewat non-persistent Staging
Area
– Penggunaan Conform Dimension adalah Mandatory, dengan
menggunakan Bus Architecture maka semua Data Mart bisa
saling terintegrasi secara logika sehingga dapat memberikan
pandangan Enterprise akan Data.
– Ralph Kimball menganjurkan dan mempromosikan arsitektur
ini

Dalam perkembangannya saat ini ada dua pendekatan lain dalam membangun Data Warehouse seperti dijelaskan dibawah ini:

3. Hybrid approach
– Methodology ini dikembangkan untuk menghindari kekacauan
Data Mart pada methodology yang ada sebelumnya.
– Dimulai dengan membuat Enterprise Data Model. Ketika
ditambahkan Data Mart, Data Model pada Data Warehouse
diperluas dengan teknik incremental Enterprise Data Model.
– Setelah Data Mart pertama selesai dibangun, dapat dilanjutkan
dengan membangun beberapa Data Mart berikutnya sesuai
dengan kebutuhan Business User.
– Data Mart dibangun lebih dahulu dibanding dengan Data
Warehouse.
Tidak seperti methodology tradisional, Data Mart di populate
dengan ETL Tool bukan dari Data Warehouse.
– Demikian juga halnya dengan Aggregate yang dihitung dengan
ETL Tool, bukan dari Data Warehouse, menggunakan teknik
Incremental Aggregation.
– Data Mart mengandung Data atomic yang relevan dengan
spesifik Business area dan juga mengandung Data Summary
atau Aggregate nya.
– Pembangunan Data Warehouse adalah opsional dan bisa
dibangun belakangan sampai diperlukan usaha untuk menekan
redudancy Data atomic atau untuk mengkonsolidasikan Data
atomic dalam satu database terpusat.
– Pembangunan ODS adalah opsional dan dapat dibuat
belakangan.
– Semua komponen dalam arsitektur ini terintegrasi dengan
metadata yang dihasilkan dan disinkronkan secara otomatis
oleh ETL Tool.
– Data yang di load kedalam dimensional Data Mart lewat
non-persistent Staging Area.
– Data Mart bersifat Dependent, namun ketergatungannya
hanya berdasarkan turunan Lokal Meta Data dari pusat Meta
Data bukan tergantung pada Data dari Data Warehouse.
– Aplikasi Data Warehouse berdasarkan arsitektur “hub-and-spoke”, namun dengan hub dari ETL Tool bukan hub dari Data Warehouse.
– Pieter Mimno, Myers & Holum yang menganjurkan dan mempromosikan arsitektur ini.

4. Federated approach
– Methodology ini sebenarnya bukan arsiktektur namun lebih
sebagai suatu Theory yang membolehkan untuk
mengintegrasikan asset Data agar dapat memuhi kebutuhan
dan untuk merespon kondisi yang dinamis.
– Menyatukan data dari berbagai sumber, termasuk dari Data
Mart atau Data Warehouse yang lain
– Memang bukan methodology yang elegan namun adakalanya
sangat berguna dan sesuai dengan banyak kebutuhan.
– Methodologi ini biasanya dianjurkan pada perusahaan yang
sudah mempunyai lingkungan Decision Support yang komplek
namun tidak ada keinginan untuk membangun ulang.
– Doug Hackney & Eckerson.yang menganjurkan dan
mempromosikan arsitektur ini.

Pada akhirnya setiap arsitektur masing-masing mempunyai Pros dan Cons sendiri-sendiri. Untuk memilih arsitektur yang paling tepat juga perlu dipertimbangkan dari sisi Business Requirement, Existing Infrastructure, Time frame dan Budget yang tersedia. Tentu diperlukan seorang Consultant yag berpengalaman agar dalam pembagunan Data Warehouse bisa Cost Efektif dan tepat guna.

Reff:
Eckerson, Wayne, Four Ways to Build a Data Warehouse, tdwi-publication, 2009.
(http://www.tdwi.org/Publications/display.aspx?id=6699&t=y)
Mimno, Myers & Holum, How to Avoid Data Mart Chaos using Hybrid Methodology, 2002
(http://www.mimno.com/articles/article5.html)
The Data Warehouse Architect, Data Warehouse Implementation Approach, 2009
(http://www.dwharchitect.com/2009/11/data-warehouse-exam-3-data-warehouse.html)