Bagaimana membangun dan menggembangkan Model Data Warehouse (DWH) Perusahaan??

DATA WAREHOUSE : Bagaimana membangun dan menggembangkan Model Data warehouse (DWH)

(E-Learning Series)

TOPIK-3:

1. Tahapan pembangunan model DW
   
2. Metodologi pengembangan model DW
   

Pada saat akan membangun IT Data warehouse perusahaan untuk mendukung reporting bisnis perusahaan, internal Perusahaan akan melakukan suatu langkah Feasibility study / Design mengenai Data warehouse yang bagaimana yang akan dibangun dan sesuai untuk perusahaan.

Konsultan / vendor IT yang memiliki kemampuan didalam perancangan dan pembangunan Data Warehouse akan di undang pekerjaan tersebut. Perkembangan Teknologi informasi yang terus maju akan menjadi pertimbangan tersendiri di dalam pembangunan data warehouse dan kedepan dengan adanya Big data, apakah diperlukan Data warehouse dengan size yang besar.

Untuk menjawab hal tersebut, mari kita ikuti pembahasan dari beberapa sumber yang memiliki kemampuan di dalam pembangunan & pengembangan DWH(Data Warehouse).

Data Warehouse VS Big Data

• Data Warehouse adalah pusat data yang terintegrasi dari beberapa sumber data, dimana penyimpanan data baru dan data historikal dilakukan pada satu tempat yang digunakan untuk laporan hasil analisis untuk organisasi. Data yang disimpan pada umum-nya akan membutuhkan data-cleansing untuk menjamin kualitas data yang akan digunakan sebagai laporan untuk data analisis.
  

• Big Data adalah terminologi dari data yang sangat besar dan kompleks yang mempunyai kemampuan untuk melakukan proses data dari data yang sangat bervariasi dan dari berbagai sumber. Pada umum-nya data yang disimpan adalah data dalam bentuk data raw dan dilakukan process cleaning seperti yang dilakukan pada proses data warehouse.
  

Pertimbangan Ahli:

• Meskipun banyak teknik yang bisa digunakan dalam pembangunan data warehouse, namun hingga saat ini belum ada konsensus yang bisa merekomendasikan teknik yang paling tepat bagi perusahaan dalam pembangunan DW. Meski demikian, secara umum semua teknik menyetujui tahapan umum dalam pembangunan DW yaitu analysis kebutuhan (requirements analysis), konseptual (conseptual design), logikal (logical design) dan fisikal (physical design) (Rizzi, et. Al., 2006).
  

• Karena sifatnya yang sangat strategik, sangat penting untuk memastikan bahwa DWH yang dibangun harus bisa dipastikan memenuhi standar kualitas dari semenjak fase awal pengembangannya (Rizzi, et. Al., 2006).
  
  
• Semakin cepat masalah bisa teridentifikasi, semakin cepat rekomendasi bisa dibuat untuk memastikan bahwa data sudah dikoreksi dengan benar. Sayangnya, orang-orang yang terlibat dalam pengembangan DWH seringkali tidak mempertimbangkan dampak dari kualitas data (Kimball, et. al., 1998).
  
• Dampaknya banyak proyek DW yang gagal karena kualitas data yang tidak baik (Hudicka, 2003). Hal ini disebabkan karena memastikan bahwa kualitas data yang digunakan di DW benar-benar bisa dijamin membutuhkan biaya yang besar serta waktu yang panjang (Nemoni & Konda, 2009). Karenanya kesuksesan pembangunan DW sangat tergantung kepada kepastian integrasi kualitas data ke semua fase pembangunan DW (Ballou & Tayi, 1999; Munawar, 2011). Jika tidak, kualitas data yang rendah akan mempengaruhi seluruh proses dan sistemnya sendiri kalau sudah selesai di buat (Celko & McDonald, 1995)
  
  

Metodologi pembangunan Data warehouse (1)

• (Pressman, 2010, p39) Waterfall merupakan salah satu model dalam perancangan piranti lunak. Penyusun memilih model waterfall, karena langkah – langkahnya berurutan dan sistematis.
  
• Menurut Sommerville (2011 : 29-30), waterfall model adalah sebuah contoh dari proses perencanaan, dimana semua proses kegiatan harus terlebih dahulu direncanakan dan dijadwalkan sebelum dikerjakan.
  

Langkah-langkah yang harus dilakukan pada metodologi Waterfall adalah sebagai berikut :

1. Analisis

Analisis atau analisa ini merupakan tahap awal yang dilakukan oleh peneliti dalam mengembangkan sistem. Dalam analisis ini harus mendapatkan beberapa hal yang dianggap menunjang penelitian yang dilakukan, seperti : mencari permasalahan yang ada, mengumpulkan data (data fisik, non fisik), wawancara dan lain-lain.

2. Desain 

Desain perangkat lunak sebenarnya adalah proses multi langka yang berfokus pada empat atribut sebuah program yang berbeda; struktur data, asitektur perangkat lunak, representasi interface dan detail (algoritma) prosedural.  Proses desain menerjemahkan syarat/kebutuhan kedalam sebuah representasi perangkat lunak yang dapat di perkirakan demi kualitas sebelum dimulai pemunculan kode. Sebagaimana persyaratan, desain didokumentasikan dan menjadi bagian  dari konfigurasi perangkat lunak. Desain harus dapat mengimplementasikan kebutuhan yang telah disebutkan pada tahap sebelumnya.

3. Generasi Kode  

Desain harus diterjemahkan dalam bentuk mesin yang bisa di baca. Untuk dapat dimengerti oleh mesin, dalam hal ini adalah komputer, maka desain tadi harus diubah bentuknya menjadi bentuk yang dapat dimengerti oleh mesin, yaitu ke dalam bahasa pemrograman melalui proses coding. Tahap ini merupakan implementasi dari  tahap design yang secara teknis nantinya dikerjakan oleh programmer dan dibuat sesuai dengan kebutuhan.

4. Pengujian

 Proses Pengujian dilakukan pada logika internal untuk memastikan semua pernyataan sudah diuji. Pengujian eksternal fungsional untuk menemukan kesalahan-kesalahan dan memastikan bahwa input akan memberikan hasil yang aktual sesuai yang dibutuhkan.

Metodologi pembangunan Data warehouse (2)

1. Requirements analysis and capacity planning: Proses pertama dalam data warehouses melibatkan mendefinisikan kebutuhan perusahaan, mendefinisikan arsitektur, melaksanakan perencanaan kapasitas, dan memilih perangkat keras dan perangkat lunak. Langkah ini akan berisi konsultasi manajemen senior serta pemangku kepentingan yang berbeda.

2. Hardware integration: Setelah perangkat keras dan perangkat lunak telah dipilih, mereka perlu dimasukkan dengan mengintegrasikan server, metode penyimpanan, dan alat perangkat lunak pengguna.

3. Modeling: Pemodelan adalah tahap penting yang melibatkan merancang skema dan tampilan DWH. Ini mungkin berisi menggunakan alat pemodelan jika gudang data canggih.

4. Physical modeling: Agar DWH  dapat bekerja secara efisien, pemodelan fisik diperlukan. Ini berisi merancang organisasi data warehouse fisik, penempatan data, partisi data, memutuskan teknik akses, dan pengindeksan.

5. Sources: Informasi untuk DWH kemungkinan berasal dari beberapa sumber data. Langkah ini berisi mengidentifikasi dan menghubungkan sumber menggunakan gateway, drive ODBC, atau pembungkus lain.

6. ETL: Data dari sistem sumber harus melalui fase ETL. Proses mendesain dan mengimplementasikan fase ETL dapat berisi mendefinisikan vendor alat ETL yang sesuai dan membeli dan mengimplementasikan alat-alat tersebut. Ini mungkin berisi menyesuaikan alat yang sesuai dengan kebutuhan perusahaan.

7. Populate the data warehouses: Setelah alat ETL disepakati, pengujian alat akan dibutuhkan, mungkin menggunakan area pementasan. Setelah semuanya bekerja dengan baik, alat ETL dapat digunakan dalam mengisi gudang yang diberikan skema dan definisi tampilan.

8. User applications: Agar gudang data dapat membantu, harus ada aplikasi pengguna akhir. Langkah ini berisi perancangan dan implementasi aplikasi yang dibutuhkan oleh pengguna akhir.

9. Roll-out the warehouses and applications: Setelah gudang data telah diisi dan aplikasi klien akhir diuji, sistem gudang dan operasi dapat diluncurkan untuk digunakan oleh komunitas pengguna.

Metodologi pembangunan Data warehouse (3)

IRADAH (Integrated Requirements Analysis for Designing Data WareHouse) adalah teknik yang dikembangkan oleh Munawar et.al (2011) untuk mengintegrasikan kualitas data ke seluruh fase pembangunan DW.

Tujuan utama dari metode ini untuk menjawab kebutuhan untuk mengintegrasikan data kualitas ke fase analisis kebutuhan, konseptual, logikal dan fisikal. Disamping itu, dengan teknis ini bisa juga mengkombinasikan data yang dimiliki perusahaan, tujuan yang diharapkan perusahaan dari pembangunan DW serta bagaimana harmonisasinya dengan pengguna dari DW.

Fokus utama analisis kebutuhan dalam pembangunan DW adalah bagaimana mengetahui kebutuhan pengguna (user), tujuan perusahaan, data yang mendukung, proses untuk menjawab tujuan perusahaan dengan menggunakan data yang ada serta dukungan data eksternal agar bisa memuaskan pengguna.

• User Driven
  
• Goal Driven Pembangunan DW tidak boleh bertentangan dengan tujuan organisasi. Oleh karena itu penting untuk mengakomodir tujuan organisasi ke dalam DW.
  
• Data Driven Untuk mendapatkan informasi yang berharga, DW harus didukung dengan sumber data yang handal. Meski demikian tidak semua data bisa dipakai untuk pengembangan DW khususnya yang bisa menjawab tujuan organisasi. Agar bisa diintegrasikan ke DW yang sedang dibuat dimana fokus utama DW adalah pemodelan multidimensional, maka data perlu dipetakan menjadi class diagram.
  
• Proses Driven
  

Potensi terbesar dalam pembangunan DW dapat terjadi saat digunakan untuk mendisain ulang proses bisnis organisasi untuk mendukung strategi bisnis organisasi (Kaldeich dan Oliveira, 2004). Alat bantu seperti SOM (Semantic Object Model) sangat handal untuk digunakan dalam rekayasa bisnis

Desain Konseptual

Desain konseptual dikenal luas sebagai pondasi yang penting untuk pembuatan database yang bisa memenuhi kebutuhan user. Dalam pembangunan DW, disain konseptual terdiri dari satu set skema fakta (fact schema) yang berisi fakta, dimensi dan hirarki nya. Fakta mewakili fokus perhatian dari perusahaan dan biasanya mengukur proses bisnis, dimensi menentukan tingkat granularitas dari fakta yang ada serta hirarki digunakan untuk menentukan proses agregasi dari fakta untuk mendukung proses pengambilan keputusan.

Metodologi pengembangan Data warehouse (1)

Data-driven Approach

• Pengembangan model dilakukan berdasarkan eksplorasi model dan data dari sumber data.
  
• Model konseptual untuk sebuah data warehouse berasal dari model data sumber yang ditransformasi.
  
• Kebutuhan organisasi tidak diidentifikasi sama sekali atau diidentifikasi sebagian.
  
• Beberapa ahli yang menyarankan metode ini adalah Golfarelli, Inmon, serta Phipps dan Davis.
  
• Inmon bahkan mengusulkan agar tahap analisis kebutuhan pengguna dilakukan setelah implementasi data warehouse.
  

Requirement-Driven Approach

• Dalam bidang data warehouse kebutuhan yang dimaksud adalah kebutuhan informasi, bukan kebutuhan fungsional sebagaimana digunakan dalam SDLC.
  
• Terdapat beberapa cara yang berbeda dalam memperoleh kebutuhan pengguna, yaitu :
  
  • user-driven approach [Westerman, Goeken, dan Kimball ]
    
  • process-driven approach [Kaldeich dan Oliveira ]
    
  • goal-driven approach [Georgini]
    
• Sebuah metode dapat menggunakan lebih dari satu pendekatan.
  

Perbadingan Beberapa Metodologi Pengembangan Data Warehouse (O’Donell, 2002)

Bagaimana?? Semangkin menarik kan mempelajari DWH??

Ikuti Materi kami berikutnya

Salam Sukses

Pustaka

• Connolly, Thomas., Begg, Carolyn (2005). Database System: A practical Approach to Design, Implementation and management, 4th Ed. Pearson Education, England.
  Darmawikarta, Djoni. Dimensional Data Warehousing with MySQL. BrainySoftware. ISBN 0-9752128-2-6
  • Korth, H.; Database System Concept, Mc Graw Hill,4th edition, New York, 2002.
  • Adi Nugroho;Perancangan & Implementasi Sistem Basis Data, Andi Publisher,ISBN:979-29-2609-5
  • https://www.ipvs.uni-stuttgart.de/…/Groeger_Warehousing_Manufacturing_Data.pdfCached
  • Similar
  • http://mti.binus.ac.id/2017/10/04/data-warehouse-di-era-big-data/
  • https://opistation.wordpress.com/2013/10/15/sejarah-perkembangan-data-warehouse/
  • https://tutorialkuliah88.wordpress.com/2014/09/19/data-warehouse/
  • https://www.javatpoint.com/data-warehouse-implementation
  • myclass.arcaism.com/…/Metode-Pengembangan-Datawarehouse.ppt… Akses 07-03-2018
  • https://fairuzelsaid.files.wordpress.com/2009/10/bab-3-pengembangan-data-warehouse.pdf…Akses 07-03-2018
  • digilib.esaunggul.ac.id/public/UEU-Journal-3630-munawar.pdf
  • http://blog.umy.ac.id/satria125x/2014/10/22/metodologi–pengembangan-data-warehouse/…Akses 07-03-2018