RSS

Arsitektur Umum Sebuah Data Warehause

06 Mei

ETL_Process_MngtPendekatan multi tier pada datawarehouse menunjukkan bahwa data itu datangnya dari banyak sumber dan sangat mungkin memiliki banyak bentuk, Pendekatan multi tier ini menyediakan sebuah sistem menyeluruh untuk digunakan dalam mengelola data untuk mendukung pengambilan keputusan.

Komponen utama dari Arsitektur ini adalah:

  • Source System  dimana data tersebut berasal
  • Extraction, Tranasformation, and Load (ETL) memindahkan data dari beberapa penampungan data yang berbeda.
  • Central Repository adalah tempat penyimpanan utama bagi data warehouse
  • Metadata Repository menggambarkan apa yang tersedia dan dimana data tersebut tersedia
  • Data Marts menyediakan akses yang cepat dan akses khusus bagi end user dan aplikasi.
  • Operational Feedback mengintegrasikan pengambil keputusan dengan sistem operasional
  • End user adalah alasan utama untuk membangun data warehouse

Satu atau lebih dari komponen tersebut diatas berada secara virtual pada setiap system yang disebut dengan Datawarehouse. komponen-komponen tersebut adalah sebuah building blocks dari seluruh pengambil keputusan yang berada pada organisasi.

Data itu mengalir seperti aliran air, data bermulai dari sebuah source system dan mengalir melalui komponen-komponen pada datawarehouse dan pada akhirnya mengantarkan informasi yang berharga bagi para penggunanya (end users). komponen-komponen ini terletak pada sebuah pondasi teknologi yang terdiri dari perangkat keras (hardware), perangkat lunak (software) dan jaringan (networks); infrastruktur ini harus cukup kuat untuk memenuhi kebutuhan dari pengguna (end user) dan siap untuk menghadapi pertumbuhan data serta kebutuhan proses tambahan yang seringkali tidak terduga di awal.

Source Systems

h-00100050000_image002Data bermulai pada sebuah source system, khususnya sistem operasional dan external data feeds. Sistem operasional di desain untuk efisiensi operasional, dan sama sekali bukan di desain untuk sebuah pendukung pengambilan keputusan, dan data didalam sistem operasional tersebut mencerminkan kenyataan ini. Contohnya:

“Data Transaksi pada sistem operasional bisa saja di bersihkan secara berkala (seringnya sih per tahun), biasanya alasannya supaya tidak membebani program dengan banyaknya data, penghapusan ini terjadi biasanya kalau penggunanya mengeluh sudah lambat kalau mau ambil data”

Mengumpulkan data untuk mendukung keputusan akan membebani sistem operasional karena sistem operasional biasanya hanya didesain untuk memproses transaksi,

walaupun sistem-sistem yang beredar di pasaran sudah mulai lebih terbuka untuk bisa saling berkomunikasi, tapi mendapatkan akses ke data yang berada disana masih menjadi sebuah persoalan yang rumit sampai saat ini, terutama jika beberapa system berbeda melayani beberapa bagian departemen dari sebuah organisasi, masih gampang kalau organisasinya berada di satu lokasi, apabila satu organisasi tersebut berada dalam beberapa lokasi geografis yg berbeda tentu akan lebih sulit untuk mendapatkan data-data tersebut :)

Extraction, Transformation, and Load

ETL_Process_MngtExtraction, transformation, and load (ETL) adalah tools yang memecahkan masalah dalam mengumpulkan data dari system yang berlainan, dengan menyediakan kemampuan dalam memetakan dan memindahkan data dari source system ke lingkungan yg berbeda.

dulunya data movement dan data cleansing menjadi tugas programmer yang membuat program khusus seperti yang dibutuhkan, tapi seringkali program khusus ini menjadi rapuh ketika source system telah berubah, artinya mereka harus terus memaintain program khusus tersebut sesuai kebutuhan, ini sangat memakan waktu dan tenaga, saya pribadi pernah mengalaminya :)

walaupun programming masih dibutuhkan, tapi sekarang tersedia produk perangkat lunak yang memecahkan masalah dari ETL ini, perangkat lunak ini memungkinkan anda untuk:

  • Menetapkan source system dan memetakan table yang berbeda atau file-file sumber data yang berbeda.
  • Mampu untuk melakukan verifikasi data, serta memunculkan laporan kesalahan ketika proses Load data tidak berhasil.

Central Repository (Pusat penyimpanan)

figure1Central Repository adalah jantung dari sebuah datawarehouse, biasanya berupa sebuah relational database yang diakses melalui beberapa jenis Structure Query Language (SQL). Salah satu keuntungan relational database (contohnya microsoft sql server) adalah kemampuannya untuk dijalankan diatas multi processor dan multi storage.

Logical data model merupakan sebuah komponen kunci pada central repository, logical data model ini menjabarkan struktur data didalam database dengan istilah yang mudah dimengerti oleh business user. Seringkali pengertian logical data model tertukar dengan pengertian physical layout database (atau skema database), tapi harus diingat bahwa ada perbedaan utama diantara keduanya:

  • tujuan dari physical layout adalah untuk memaksimalkan perfora dan menyediakan informasi kepada database administrator
  • tujuan dari logical data model adalah untuk menyampaikan isi database kepada orang-orang yang tidak terlalu paham hal teknis.

Seorang business user harus mampu untuk memahami logical data model (seperti, entitas, atribut, dan relasi), dan sebuah physical layout adalah implementasi dar logical data model.

ketika memulai sebuah project datawarehouse, kebanyakan organisasi merasa harus membangunnya secara komprehensif, sebesar model data kelas enterprise  sementara ukuran mereka saat itu belum sebesar itu :) , well.. nggak salah juga sih tapi kebanyakan pekerjaan ini akan menemui kegagalan (yang pernah praktek pasti tahu ini), sebuah logical data model untuk datawarehouse pada organisasi yang belum begitu besar nggak harus benar-benar sama dengan model pada kelas enterprise.

(bersambung)

 
 

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

 
%d blogger menyukai ini: