Site icon Cerita Hosting ☁️

DATA WAREHOUSE : Data Lake / Big Data

Cerita Hosting

DATA WAREHOUSE : Data Lake / Big Data

(E-Learning Series)

TOPIK-2:

Pengertian data warehouse menurut para ahli :



Beberapa tahun terakhir, perkembangan teknologi Data Management sangat banyak berubah, terminologi Big Data diperkenalkan sebagai teknologi baru yang menjadi alternatif dari penggunaan teknologi Enterprise Data Warehouse tradisional yang saat ini sudah lebih baik dari segi kemampuannya untuk memenuhi kebutuhan bisnis.

Data warehousing (DWH) berkembang sebagai hasil perkembangan lebih lanjut dari system informasi sepanjang beberapa decade terakhir ini.

Beberapa kunci perkembangannya adalah sbb:

Trend

Data Warehouse telah memicu perubahan besar dalam perkembangan perangkat lunak seperti optimisasi queri, pengindekan tabel yang sangat besar, peningkatan kompresi data dan dimensional modeling.Pertanyaan utama yang harus dipersiapkan jawabannya adalah : Apakah yang harus anda lakukan untuk memperoleh keuntungan dari trend dalam Data Warehouse anda?

  1. Multiple Data Types

Contoh : kebanyakan Data marketing terdiri data terstruktur yang bernilai numerik. Data marketing juga berisikan data tidak terstruktur dalam bentuk gambar.

Diumpamakan seorang pengambil keputusan sedang melakukan analisis untuk mencari tipe produk yang paling banyak terjual, setelah menemukan produk tersebut, pengambil keputusan ingin meihat gambar untuk membuat keputusan lebih jauh, bagaimana hal ini dapat diwujudkan? Perusahaan disini menyadari kebutuhan untuk mengintegrasikan baik data terstruktur dan tidak terstruktur di dalam Data Warehouse mereka.

a. Penambahan Data yang tidak terstruktur

b. Pencarian Data yang tidak terstruktur

c. Data Spasial

Data Spasial akan meningkatkan nilai Data Warehouse anda. Alamat, blok jalan, kota, kabupaten, kelurahan dan kode pos adalah contoh Data Spasial.

  1. Visualisasi Data

Ketika seorang pengguna melakukan kueri dan berharap untuk melihat hasil hanya dalam bentuk daftar hasil atau spreadsheet, maka Data Warehouse anda sudah kadaluarsa. Anda harus bisa menampilkan hasil dalam bentuk chart dan grafik. Visualisasi data hasil memudahkan proses analisis bagi pengguna ketika pengguna mencari trend dari waktu ke waktu. Visualisasi data membantu pengguna untuk memahami kueri data dengan cepat dan mudah.

Tiga trend utama visualisasi data yang telah mengarahkan pembentukan perangkat lunak visualisasi data adalah :

  1. Type Grafik

2. Visualisasi interaktif, Grafik bersifat interaktif dimana pengguna dapat grafik yang dihasilkan, mengelolanya dan melihat tampilan terbarunya secara online.

3. Visualisasi Result set yang besar dan komplek. Perangkat lunak dengan visualisasi terbaru dapat memvisualisasikan ribuan poin hasil data terstruktur yang kompleks.

Tipe Visualisasi

Kebutuhan user saat ini beraneka ragam, user bisnis membutuhkan chart pie dan bar, user teknis dan saintis membutuhkan scatter plot dan constellation graph. Analis yang memperhatikan data spasial membutuhkan peta dan representasi tiga-dimensi lainnya. Eksekutif dan manajer yang harus memonitor matrik kinerja, seperti pedoman digital yang memungkinkan untuk visualisasi matrik seperti speedometer, termometer atau lampu lalu lintas.

Advance Visualization Techniques.

Kemajuan teknik visualisasi adalah transisi dari chart statis menjadi penyajian yang interaktif dan dinamis.

  1. Chart Manipulation, user dapat memutar chart atau secara dinamis dapat mengganti tipe chart untuk memperoleh hasil yang lebih diharapkan. Dengan tipe visualisasi yang komplek user dapat memilih sebuah titik data dengan mouse dan menggerakkan titik tersebut di sekitar view.

  2. Drill Down, pengguna dapat melihat visualisasi data dengan tingkat ketelitian dan lebih detil.

3. Advance Interaction. Teknik ini meminimumkan user interface yang kurang berguna. Pengguna dibuat langsung dapat men-double-click salah satubagian dari visualisasi dan men-drag dan drop representasi entitas data. Atau dibuat lebih sederhana lagi dimana user melakukan klik kanan dan menentukan pilihan dari sebuah menu.

c. Parallel Processing

i. Parallel Processing Hardware Options

ii. Parallel Processing Software Implementation

  1. ToolKueri

Pada Data Warehouse, seperangkat tool fungsional yang sangat utama adalah seperangkat tool kueri. Kesuksesan Data Warehouse anda bergantung pada tool kueri. Banyak vendor Data Warehouse telah meningkatkan kemampuan tool kueri. Fungsi-fungsi yang telah dikembangkan oleh vendor-vendor terkait tool kueri antara lain :

i. Flexible Presentation

ii. Aggregate Awareness

iii. Crossing Subject Areas

iv. Multiple Heterogeneous sources

v. Integrasi

vi. Mengatasi Keterbatasan SQL(Overcoming SQL Limitation), menggunakan SQL Extension

e. Tool Browser

  1. Data Fusion

Sebuah Data Warehouse adalah tempat dimana data dari banyak sumber data diintegrasikan untuk menyediakan tampilan yang menyatu pada skala enterprise. Data boleh jadi berasal dari berbagai macam sistem operasi yang berbeda platform atau mungkin di simpan dalam file flat ataupun DBMS. Dalam penyimpanan Data Warehouse dapat ditemukan juga banyak data yang tidak terstruktur seperti data berbentuk dokumen, gambar, audio dan video.

Berbagai macam data dari banyak sumber yang terpisah ini harus diintegrasikan atau difusikan dan disimpan dalam sebuah Data Warehouse.

  1. Multidimensional Analysis

Saat ini, seluruh lingkungan Data Warehouse menyediakan analisis multidimensional. Ini menjadi bagian integral dari sistem pengiriman informasi data Warehouse. Ketentuan analisis multidimensional bagi user secara sederhana berarti bahwa mereka akan dapat menganalisis ukuran bisnis dengan berbagai macam cara. Analisis Multidimensional juga bersinonim dengan Online Analytical Processing (OLAP).

  1. Agent Technology

Software Agent adalah sebuah program yang mampu menjalankan kegiatan pemrograman atas nama pengguna.

Contoh : internet, Software Agent dapat digunakan untuk melakukan sort atau filter email berdasarkan aturan-aturan yang didefinisikan pengguna.

Dalam Data Warehouse Software agent dapat digunakan untuk memberikan alert kepada pengguna mengenai kondisi bisnis yang telah terlebih dahulu didefinisikan. Beberapa vendor bahkan mengkhusukan pada tool sistem alert. Anda harus mempertimbangkan program software agent untuk Data Warehouse anda.

Trend Big Data dan Data Lake

Untuk merespon kebutuhan yang sulit dipenuhi oleh Data Warehouse, ada sebuah teknologi yang memiliki tools untuk menyimpan dan memproses data secara besar. Teknologi inovasi ini muncul dari beberapa perusahaan technologi seperti Twitter dan Facebook yang secara periodik meningkatkan kesadaran organisasi lain terkait hambatan akan data mereka.

Teknologi Big Data saat ini bukannya sesuatu sistem yang menyimpan banyak data, hal yang menarik adalah dengan semua data yang terkumpul dalam suatu sistem, pendekatan baru untuk menyelesaikan suatu masalah dapat diterapkan dengan berbagai cara dan aspek. Saat ini setiap organisasi mulai mendesain dan membangun suatu sistem yang secara objektif dibutuhkan oleh bisnis terhadap data-data yang sedang berjalan, bukan pada suatu sistem yang sudah terbentuk sejak awal.

Terminologi Big Data tidak lepas dari suatu konsep data repositori “Data Lake”

Konsep Data lake pertama kali dikemukan oleh James Dixon (CTO Pentaho), sebuah konsep yang sangat kontras dengan terminologi “Data Mart” yang ada pada Data Warehouse.

James Dixon berpendapat bawah Data Mart mempunyai beberapa masalah yang dapat terjadi, dan Data Lake menjadi suatu solusi yang dia kembangkan. Secara umum Data Lake adalah kumpulan dari berbagai macam data yang disimpan sama persis dengan data asli.


Batasan Pada Traditional Enterprise Data Warehouse

Masalah fundamental pada tradisional EDW adalah tidak dapat memenuhi atau memecahkan masalah yang dibutuhkan oleh pengguna IT maupun Bisnis. Pada EDW, data konsumen harus disesuaikan sehingga dapat digunakan untuk analisis.

Analisis tersebut dapat memecahkan suatu masalah dengan cara hanya mengintegrasi data dan proses bisnis kedalam program EDW. Pada sisi yang lain desain dan teknologi EDC tidak dapat memecahkan masalah seperti data analisis semi-structured, real-time streaming analytics, search dan discovery yang dimana data EDW hanya menggunakan teknologi relational database.

Pendekatan

Berikut adalah beberapa gambaran perbedaan pendekatan Traditional Data Warehouse dan Data Lake.


Gambar : Pendekatan Tradisional Data Warehouse

Perbedaan


Pilihan:

Data Warehouse (EDW) atau Big Data??
Ini merupakan pertanyaan yang sulit, jika suatu organisasi sudah mempunyai teknologi Data Warehouse, sangat tidak mungkin membuang EDW dan memulai dari awal untuk menerapkan teknologi Big Data atau Data Lake.

Walaupun dengan menerapkan teknologi EDW dalam jangka panjang akan menghadapi beberapa permasalahan yang telah disebutkan diatas, namun teknologi Big Data atau Data Lake dapat diterapkan bersamaan dan saling berintegrasi antara EDW dan Data Lake.

Dengan seiring berjalannya waktu, EDW dapat dipindahkan sepenuh-nya ke dalam teknologi Data Lake atau anda dapat menerapkan kedua teknologi ini secara hybrid untuk selamanya. EDW dan Data Lake tidak akan saling menggantikan karena dilihat dari kebutuhan masing masing organisasi akan sangat berbeda. Konsep EDW dan Data Lake tidak akan saling menggantikan dan tidak dapat disamakan karena mempunyai karakteristik masing masing sesuai dengan tujuan sistem yang dikembangkan.

Arsitektur

Bagi Organisasi yang sudah mempunyai EDW atau Big Data, Data Lake merupakan suatu solusi untuk memodernisasi Data Warehouse yang berfungsi khusus untuk melakukan search and discovery data yang tidak disimpan oleh Data Warehouse seperti Semi-structured data, un-structured data maupun raw data.

Bagi Oranisasi yang belum memiliki EDW, sangat disarankan untuk melakukan pertimbangan untuk menerapkan dengan Data Lake yang mempunyai kemampuan seperti EDW dimana data yang disimpan adalah data yang valid dan dapat di percaya.


Gambar Integrasi Big Data (Hadoop) Dan Data Warehouse

Exit mobile version