Apakah Data Warehouse itu?

Data Warehouse adalah relasional database dengan desain tertentu yang memudahkan Query dan Analisis.

Pada umumnya Data Warehouse berisi data sejarah yang diturunkan dari data transaksi dan beberapa data dari sumber data yang lain.

Dengan Data Warehouse maka Organisasi bisa mendapatkan data yang sudah terkonsolidasi dari berbagai sumber data.

William Harvey Inmon atau biasa dipanggil Bill Inmon pada tahun 1991 dalam bukunya “Building the Data Warehouse”
mendefinisikan Data Warehouse sbb.:

“A data warehouse is a subject-oriented, integrated,
timevariant, and nonvolatile collection of data
in support of management’s decision-making
process.”

Subject-oriented:
- Data di kumpulkan berdasarkan subjek utama, misalnya
Customer, Product atau Sales.
- Data Model dan analisa diutamakan untuk pengambil
keputusan bukan untuk proses transaksi sehari-hari.
- Menyediakan cara yang sederhana dan ringkas untuk
menampilkan data sekitar subjek tertentu dengan cara
mengeluarkan data yang tidak berguna dalam proses
pengambilan keputusan.

Integrated:
- Dibangun dari integrasi berbagai macam sumber data
misalnya Relational Database, Flat Files, Online
Tansaction record, dsb.
- Menggunakan teknologi Data Cleansing dan Data
Integration. Tujuannya:
- Memastikan konsistensi Naming Convention,
Encoding Structure, Ukuran attributes. dsb.
diantara sumber data yang berbeda-beda.
- Ketika data dimasukkan ke Data
Warehouse, data tesebut telah dikonversikan.

Time Variant:
- Rentang waktu data untuk Data Warehouse pasti lebih
panjang jika dibandingkan dengan sistem operasional
- Data Sistim Operasional : Data saat ini
- Data Data Warehouse : Menyediakan informasi
dari perspektif sejarah misal 5 s/d 10 tahun
- Setiap struktur Key dalam Data Warehouse selalu
mengandung elemen Time secara implisit atau explisit
- Namun pada Key data operasional mungkin tidak
mengandung elemen Time.

Non Volatile:
- Artinya begitu data masuk ke Data Warehouse
seharusnya Data tidak boleh berubah lagi.
- Secara fisik data pada Data Warehouse disimpan
terpisah dari operasional sistem.
- Operasi Update tidak pernah terjadi pada lingkungan
data Warehouse, karena
- Tidak perlu melakukan proses transaksi, Recovery,
dan mekanisme kontrol proses simultan.
- Hanya memerlukan dua operasi proses Data yaitu
Data Loading dan Data Retrieving.

Elemen-elemen dasar Data Warehouse

Source System
Operasional sistem yang berfungsi mencatat transaksi dari
suatu bisnis. Source System biasa disebut juga sebagai
Legacy System.

Data Staging Area
Tempat penyimpanan data sementara, untuk melakukan
proses Clean, Transform, Combine, Deduplicate,
Household, archive, dan menyiapkan sumber data untuk
digunakan Data Warehouse.

Staging Area tidak diperuntukkan sebagai sumber data
untuk reporting karena datanya masih kotor dan bersifat
sementara.

Presentation Server
Target mesin yang secara fisik adalah mesin dimana data
dari Data Warehouse di organisasikan dan disimpan untuk
dilakukan query oleh End User, Reporting dan aplikasi yang
lain. Disini data disimpan dengan framework Dimmensional.

Jika menggunakan Relational Database maka tabel akan
diorganisasikan dalam bentuk Star-Schema, namun
jika tidak menggunakan Relational Database maka akan
disimpan dalam bentuk OLAP.
(mengenai OLAP akan dibahas pada sesi tersendiri)

Dimensional Model
Data Modeling yang khusus dipakai pada Data Warehouse,
sebagai alternatif lain dari E/R Modeling yang biasanya
dipakai pada sistem transaksional.

Business Process
Dalam terminologi disini bukanlah Business Process seperti
pada transaksional sistem, tetapi lebih tepat maksudnya
adalah mengelompokkan sumber data menurut kesamaan
temanya. Misalnya Finance, Marketing, Production. etc.

Nantinya setiap Business Process akan diimplementasikan
sebagai Data Marts.

Data Mart
Potongan secara logika dari Data Warehouse secara
keseluruhan.

Data Mart bisa juga dilihat sebagai potongan secara logika
dari data Warehouse terhadap suatu Business Process
tertentu.
(mengenai Data Mart, akan dibahas pada sesi tersendiri)

Data Warehouse
Adalah sumber data yang bisa di Query dalam suatu
perusahaan. Sebenarnya Data Warehouse adalah
gabungan dari beberapa Data Marts.

Operational Data Store
Pada awalnya ODS adalah titik integrasi dari berbagai
operasional sistem. Karena ODS juga mendukung access
operasional dan bisa di update maka ODS seharusnya
ditempatkan diluar Data Warehouse.

Pada akhirnya fungsi ODS juga berkembang menjadi
semacam Desicision Support karena ODS mengandung
detail data yang telah terintegrasi dari berbagai sumber
Data.

OLAP
Disebut juga sebagai Multidimensional Database (MDDB).
OLAP sengaja dirancang untuk memudahkan dan
mempercepat query yang dilakukan pada MDDB.

Karakteristik dan sifat OLAP sangat berbeda dengan OLTP
karena memang mempunyai tugas dan fungsi yang
berbeda.

ROLAP
Relational OLAP.

MOLAP
Multidimensional OLAP

End User Application
Sekumpulan Tool yang bisa melakukan Query, Analisa
Data, dan menampilkan informasi untuk mendukung
kepentingan Bisnis.

Paling tidak Tool ini juga dilengkapi dengan kemampuan
untuk akses Data, fungsi Spreatsheet, fungsi grafik, dan
ada fasilitas untuk menampilkan prompt dan
menyederhanakan tampilan screen pada End User.

End User Data Access Tool
Sebagai Client dari Data Warehouse. Pada Relational Data
Warehouse, Client dapat mengirimkan SQL Request
ke Server.

Secepatnya End User Data Access Tool akan selesai pada
SQL Session dan kembali untuk menampilkan pada screen
Data dari suatu Report, Grafik, atau yang lebih tinggi
seperti form suatu analisa pada User.

End User Data Access Tool dapat saja sederhana seperti
Ad-Hoc Query Tool atau bisa juga bisa komplex
seperti Data Mining yang canggih atau aplikasi modeling.

Ad-Hoc Query Tool
End User Data Access Tool yang dibuat khusus sehingga
memungkinkan User untuk membuat Query sendiri secara
langsung dengan cara memanipulasi Relational Tables dan
Join-join nya.

Dipasaran biasanya Ad-Hoc Query Tool dipaket menjadi
satu dengan Reporting Tool.

Modeling Application
Data Warehouse Client yang canggih dengan kemampuan
analytic yang dapat merubah bentuk atau menjadikan
intisari dari output Data Warehouse.

Modeling ini termasuk didalamnya adalah:
- Forecasting Model, yang berusaha memperkirakan masa
depan
- Behaviour Scoring Model, yang dapat mengklasifikasikan
perilaku belanja Customer
- Allocation Model, yang mengambil data Cost dari Data
Warehouse lalu membagikan Cost tersebut ke semua
poduct Group atau Customer Group.
- Terutama Data Mining Tools.

Meta Data
Semua informasi dalam lingkungan Data Warehouse namun
bukan data itu sendiri, Misalnya informasi mengenai
asal data source dari aplikasi apa, tabel apa, field apa,
formula bisnis bagaimana, dsb. Meta Data perlu dibuatkan
Catalog, diberi Version Stamp, di dokumentasikan dan di
backup.

Beberapa ETL Tool dipasaran ada yang sudah dilengkapi
Meta Data management.

Demikian elemen dasar dari Data Warehouse, masih banyak komponen yang nanti akan di jelaskan pada sesi berikutnya.

Reff:
Kimball, Ralph, 1998, The Data Warehouse Lifecycle Toolkit, Jhon Wiley & Sons, Inc.