BIG DATA SEMINAR - BIGIT TECHNOLOGY 19-20 SEPTEMBER 2016

Telah menghadiri seminar Big Data tahunan yang dinamakan BIGIT TECHNOLOGY yang telah diadakan pada 19-20 September yang lalu. Program ini bertujuan mempromosi teknologi Big Data kepda masyarakat dan pemain-pemain teknologi yang sentiasa menawarkan penyelesaian kepada aplikasi Big Data berasaskan kepada teknologi terkini. Tahun ini perbincangan banyak menjurus kepada ciri-ciri keselamatan yang perlu ada dalam penyelesaian aplikasi big data. Walau bagaimanapun fokus kepada peranan big data dalam memberi nilai baru dalam pengurusan data masakini banyak juga dibincangkan oleh penceramah. Namun, acara tahun ini dilihat tidak semeriah seperti tahun lepas kerana acara pamiran dan ceramah diadakan agak berjauhan. Seperkara yang menarik seminar tahun adalah acara khas untuk peserta kursus Data Science "Get Together" yang dianjurkan oleh MDec. Acara ini memberi pengiktirafan kepada peserta data science yang telah tamat kursus dan turut diraikan oleh Dr. Nikhil Sinha, Chief Business Officer Coursera.

Koleksi gambar program di atas boleh dilihat melalui link Get Together. Pihak MDec telah menyediakan sehelai T-Shirt khas untuk program ini dan setiap peserta yang hadir telah mendapatkannya dan ia dipakai pada majlis ini.

ANALITIK DATA RAYA (BIG DATA ANALYTICS)

Data Raya ialah bidang yang mengendalikan cara untuk menganalisis, mengekstrak maklumat secara sistematik daripada set data yang bersaiz besar atau kompleks untuk mengatasi masalah yang dihadapi oleh perisian pemprosesan data tradisional. Data dengan banyak medan (column) menawarkan kuasa statistik yang lebih besar, manakala data dengan kerumitan yang lebih tinggi (lebih banyak atribut atau medan) boleh membawa kepada kadar penemuan palsu yang lebih tinggi. Cabaran analisis data besar adalah seperti menangkap data, mengurus storan data, menganalisis data, membuat carian atau pertanyaan, melaksanakan perkongsian data, membuat pemindahan data, membangun visualisasi, pengemaskinian data sumber, membina privasi maklumat dan sumber data, dan sebagainya. Data raya pada asalnya dikaitkan dengan tiga konsep utama iaitu: saiz (volume), kepelbagaian (variety), dan halaju (velocity). Analisis data raya memberikan cabaran dalam persampelan, dan selalunya termasuk data dengan saiz yang melebihi kapasiti perisian tradisional untuk diproses dalam masa dan nilai yang boleh diterima.

Konsep data raya telah wujud sejak lama dahulu, dan kebanyakan organisasi kini memahami bahawa jika mereka menangkap semua data yang disalurkan ke dalam perniagaan mereka, mereka boleh menggunakan analisis dan mendapat nilai yang signifikan daripadanya. Tetapi pada tahun 1950-an, beberapa dekad sebelum wujudnya istilah "data raya" (big data), organisasi perniagaan menggunakan analitik asas (pada asasnya nombor dalam hamparan (spreadsheet) yang diperiksa secara manual) untuk mendedahkan cerapan dan arah aliran.

Kaedah baharu yang dibawa oleh analitik data raya adalah kelajuan dan kecekapan dalam pemprosessan. Walaupun beberapa tahun yang lalu pengguna akan mengumpulkan maklumat, menjalankan analisis dan mencungkil maklumat yang boleh digunakan untuk membuat keputusan masa depan. Hari ini pengguna boleh mengenal pasti cerapan untuk membuat keputusan segera. Keupayaan untuk bekerja lebih pantas, dan kekal tangkas adalah dengan memberikan pengguna kelebihan daya saing yang tidak mereka miliki sebelum ini. Hal ini boleh dilakukan dengan menggunakan teknologi data raya.

Dengan berlakunya ledakan data, projek inovasi sumber terbuka seperti pangkalan data Hadoop, Spark dan NoSQL telah dicipta untuk membuat penyimpanan dan pemprosesan data besar. Bidang ini terus berkembang apabila jurutera data mencari cara untuk menyepadukan sejumlah besar maklumat kompleks yang dicipta oleh penderia (sensor), rangkaian, transaksi, peranti pintar, penggunaan web dan banyak lagi. Malah sekarang, kaedah analitik data raya sedang digunakan dengan teknologi baru seperti pembelajaran mesin (machine learning), internet benda (IoT), dan sebagainya untuk menemui dan menskala cerapan yang lebih kompleks.

Analitik data raya membantu organisasi memanfaatkan data mereka dan menggunakannya untuk mengenal pasti peluang baharu. Seterusnya membawa kepada langkah perniagaan yang lebih bijak, operasi yang lebih cekap, keuntungan yang lebih tinggi dan pelanggan yang lebih gembira dan taat. Mengikut kajian Pengarah Penyelidikan IIA Tom Davenport, beliau telah menemu bual lebih daripada 50 ahli perniagaan untuk memahami cara mereka menggunakan data raya. Dia mendapati ahli perniagaan ini mendapat nilai penggunaan data raya melalui pengurangan kos, membuat keputusan yang lebih baik dan pantas, dan mewujudkan produk dan perkhidmatan baharu.

ahlulwulus@Nov2013

DATA WAREHOUSE TECHNOLOGY

Data Warehouse (DW) is a database used to store data for Online Analytical Processing (OLAP). It should subject-oriented, integrated, time-variant, non-volatile collection of data in support of management’s decision-making process (Inmon, 1993). A copy of transaction data (normally known as Online Transaction Processing - OLTP) with specially structure for query and analysis (Kimball, 1996). The goals of DW are: provides access to corporate or organization data, ensure data consistent, allow for slice and dice, tools for query-analyze-present, publish used data, driver of business reengineering for data quality (Kimball, 1996). The comparison between OLTP and OLAP is shown in Figure below.

Some videos about DW technology can be watched as follow (as taken from the youtube):

1. Data Warehouse Basics

2. Data Warehousing - A Quick Summary

3. Introduction to Data Warehouse

ahlulwulus@2007