Tuesday, December 22, 2015

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Data adalah Emas
Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul "Data is the New Gold". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold. Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan.

Sejalan dengan pernyataan Neelie Kroes tersebut, kini, manajemen data bukan lagi hanya menjadi kompetensi yang penting bagi suatu organisasi, melainkan telah menjadi bagian kritis yang berperan sebagai penentu kemenangan dalam penguasaan pasar maupun dalam pencapaian misi. Saat ini, perusahaan-perusahaan Fortune 1000 dan institusi-institusi pemerintah telah mulai memetik keuntungan dari inovasi-inovasi yang telah dikembangkan oleh para pionir dalam bisnis web services. Para decision maker pada organisasi-organisasi tersebut sedang berupaya untuk mengembangkan inisiatif baru dan mengevaluasi strategi-strategi yang mereka miliki demi menemukan cara bagaimana mereka dapat memanfaatkan Big Data untuk mengembangkan bisnisnya. Dalam proses tersebut, mereka pun belajar untuk memahami apa itu Big Data; mulai dari definisi Big Data, jenis-jenis teknologi Big Data, manfaat yang mungkin diperoleh dari implementasi teknologi Big Data, hingga bagaimana memilih teknologi Big Data yang tepat bagi kebutuhan mereka.

Mengingat kembali Definisi Big Data
Untuk membahas apa itu Big Data, baiknya dimulai dari kesepakatan tentang definisi Big Data itu sendiri. Big Data bukanlah sebuah teknologi, teknik, maupun inisiatif yang berdiri sendiri. Big Data adalah suatu trend yang mencakup area yang luas dalam dunia bisnis dan teknologi. Big Data menunjuk pada teknologi dan inisiatif yang melibatkan data yang begitu beragam, cepat berubah, atau berukuran super besar sehingga terlalu sulit bagi teknologi, keahlian, maupun infrastruktur konvensional untuk dapat menanganinya secara efektif. Dengan kata lain, Big Data memiliki ukuran (volume), kecepatan (velocity), atau ragam (variety) yang terlalu ekstrim untuk dikelola dengan teknik konvensional.

Big Data melibatkan proses pembuatan data, penyimpanan, penggalian informasi, dan analisis yang menonjol dalam hal volume, velocity, dan variety.
1. Volume (Ukuran).    Pada tahun 2000 lalu, PC biasa pada umumnya memiliki kapasitas penyimpanan sekitar 10 gigabytes. Saat ini, Facebook menyedot sekitar 500 terabytes data baru setiap harinya; sebuah pesawat Boeing 737 menghasilkan sekitar 240 terabytes data penerbangan dalam satu penerbangan melintasi Amerika; makin menjamurnya penggunaan ponsel pintar (smartphone), bertambahnya sensor-sensor yang disertakan pada perangkat harian, akan terus mengalirkan jutaan data-data baru, yang terus ter-update, yang mencakup data-data yang berhubungan dengan lingkungan, lokasi, cuaca, video bahkan data tentang suasana hati si pengguna ponsel pintar.
2. Velocity (kecepatan).    Clickstreams maupun ad impressions mencatat perilaku pengguna Internet dalam jutaan event per detik; algoritma jual-beli saham dalam frekwensi tinggi dapat mencerminkan perubahan pasar dalam hitungan microseconds; proses-proses yang melibatkan hubungan antara suatu mesin dengan mesin lainnya telah melibatkan pertukaran data antar jutaan perangkat; peralatan sensor dan perangkat-perangkat pada infrastruktur menghasilkan log data secara real time; sistem game online dapat melayani jutaan pengguna secara bersamaan, yang masing-masing memberikan sejumlah input per detiknya.
3. Variety (ragam). Big Data tidak hanya menyangkut data yang berupa angka-angka, data tanggal, dan rangkaian teks. Big Data juga meliputi data-data ruang / geospatial, data 3D, audio dan video, dan data-data teks tak berstruktur termasuk file-file log dan media sosial. Sistem database tradisional didesain untuk menangani data-data berstruktur, yang tak terlalu sering mengalami update atau updatenya dapat diprediksi, serta memiliki struktur data yang konsisten yang volumenya tak pernah sebesar Big Data. Selain itu, sistem database tradisional juga didesain untuk digunakan dalam satu server yang berdiri sendiri, yang berakibat pada keterbatasan dan mahalnya biaya untuk peningkatan kapasitas, sedangkan aplikasi sudah dituntut untuk mampu melayani pengguna dalam jumlah yang jauh lebih besar dari yang pernah ada sebelumnya. Dalam hal ini, database Big Data seperti halnya MongoDB maupun HBase, dapat memberikan solusi yang feasible yang memungkinkan peningkatan profit perusahaan secara signifikan.

Singkatnya, Big Data menggambarkan kumpulan data yang begitu besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software tradisional.

Jenis Teknologi Big Data : Big Data Operasional dan Big Data Analitis
Dalam hal Teknologi, bentangan Big Data didominasi oleh dua jenis teknologi Big Data yaitu: (1) Big Data operasional: sistem yang memiliki kapabilitas operasional untuk pekerjaan-pekerjaan bersifat interaktif dan real time dimana data pada umumnya diserap dan disimpan; (2) Big Data analitis: sistem yang menyediakan kapabilitas analitis untuk mengerjakan analisis yang kompleks dan retrospektif yang dapat melibatkan sebagian besar atau bahkan keseluruhan data. Dalam keberadaannya, kedua jenis teknologi Big Data ini bersifat saling melengkapi dan sering digunakan secara bersamaan.

Beban kerja operasional dan analitis terhadap Big Data telah menyebabkan kebutuhan sistem yang berlawanan satu sama lain, dan sistem Big Data saat ini telah berevolusi untuk menangani kedua jenis kerja tersebut secara khusus, terpisah, dan dengan cara yang sangat berbeda. Baik kebutuhan kerja operasional maupun analitis untuk Big Data, masing-masing telah mendorong penciptaan arsitektur-arsitektur teknologi baru. Sistem operasional, seperti halnya NoSQL database, berfokus pada pelayanan terhadap permintaan akses yang tinggi yang terjadi dalam waktu bersamaan, dengan tetap memberikan respon yang seketika (low latency) terhadap permintaan akses tersebut. Akses data terhadap sistem operasional ini dapat dilakukan dengan berbagai pilihan kriteria. Dilain pihak, sistem analitis cenderung berfokus pada penanganan arus data yang lebih besar, query-query yang ditujukan pada data tersebut bisa sangat kompleks, dan setiap kali dieksekusi dapat melibatkan sebagian besar atau keseluruhan data yang ada dalam sistem. Baik sistem Big Data operasional maupun sistem Big Data analitis, kedua-duanya dioperasikan dengan melibatkan sejumlah servers yang tergabung dalam suatu cluster komputer, dan digunakan untuk mengelola puluhan atau ratusan terabytes data yang memuat miliaran record.

Teknologi Big Data Operasional
Untuk menangani pekerjaan-pekerjaan Big Data Operasional, telah dibangun sistem Big Data dengan database NoSQL seperti halnya database berbasis dokumen (document based database) yang dapat ditujukan untuk berbagai tipe aplikasi, database key-value stores, column family stores, dan database graph yang dioptimalkan untuk aplikasi yang lebih spesifik. Teknologi NoSQL, yang telah dikembangkan untuk mengatasi kekurangan dari database relasional (relational database) pada lingkungan komputasi modern, dikenal lebih cepat serta lebih mudah dan murah dalam hal peningkatan skala (more scalable) dibanding relational databases.

Terlebih lagi, sistem Big Data dengan database NoSQL telah didesain untuk memanfaatkan keunggulan dari arsitektur cloud computing (komputasi awan) yang telah muncul dalam dekade terakhir ini. Hal ini memungkinkan dijalankannya komputasi berskala besar secara efisien dan dengan biaya yang relatif lebih murah. Sebagai hasilnya, sistem NoSQL dengan komputasi awan ini telah menjadikan perangkat kerja Big Data operasional lebih mudah dikelola, serta dapat diimplementasikan dengan lebih murah dan cepat.

Teknologi Big Data Analitis
Dilain pihak, pekerjaan-pekerjaan Big Data analitis cenderung diproses dengan mengimplementasikan sistem database MPP dan MapReduce. Munculnya teknologi ini juga merupakan reaksi terhadap keterbatasan dan kurangnya kemampuan relational database tradisional untuk mengelola database dalam skala lebih dari satu server (terdistribusi). Disamping itu, MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat berfungsi sebagai pelengkap terhadap kapabilitas SQL.

Dengan semakin populernya penggunaan berbagai jenis aplikasi dan para penggunanya terus menerus memproduksi data dari pemakaian aplikasi tersebut, terdapat sejumlah upaya analisa retrospektif yang benar-benar dapat memberikan nilai berarti terhadap kemajuan bisnis. Ketika upaya-upaya tersebut mesti melibatkan algoritma yang lebih rumit, MapReduce telah menjadi pilihan pertama untuk melakukan analisa retrospektif tersebut. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain, data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop dengan MapReduce-nya.

Manfaat Pemberdayaan Big Data
Serangkaian teknologi baru yang ditujukan untuk memberdayakan Big Data telah memungkinkan direalisasikannya suatu nilai dari Big Data. Sebagai contoh, pebisnis retail online dapat mempelajari perilaku para pengunjungnya berdasarkan data hasil web click tracking. Dengan mengetahui perilaku konsumen maupun calon konsumennya, maka dimungkinkan untuk menerapkan strategi baru guna meningkatkan penjualan, mengatur harga dan stok barang secara efisien. Institusi pemerintah maupun Google dapat mendeteksi timbulnya suatu wabah penyakit dengan memanfaatkan informasi yang mengalir di media sosial. Perusahaan minyak dan gas dapat menggunakan output dari sensor-sensor pada peralatan pengeboran untuk menemukan teknik pengeboran yang lebih aman dan efisien.

Jadi, dengan mendayagunakan database Big Data, operasional perusahaan dapat melakukan penghematan pengeluaran, meningkatkan keuntungan, dan mencapai sasaran-sasaran bisnis lainnya. Dalam hal ini paling tidak, ada 3 hal yang dapat diraih oleh perusahaan yang menerapkan teknologi Big Data, yakni:
1. Membuat aplikasi baru. Big Data memungkinkan suatu perusahaan untuk mengumpulkan data-data real time dari produk-produk yang mereka pasarkan, dari sumber daya yang digunakan, dan data-data yang berkaitan dengan pelanggannya. Data-data ini dapat dimanfaatkan untuk mengoptimalkan kepuasan pelanggan ataupun untuk efisiensi penggunaan sumber daya. Sebagai contoh, sebuah kota besar di Amerika Serikat telah menggunakan MongoDB, sebuah document based NoSQL database, untuk menurunkan angka kejahatan dan meningkatkan pelayanan umum dengan mengumpulkan dan menganalisa data geospatial secara real-time dari 30 departemen yang berbeda.
2. Meningkatkan efektifitas dan menurunkan biaya dari aplikasi yang telah ada. Teknologi Big Data dapat menggantikan sistem berspesifikasi tinggi yang mahal dengan sistem yang dapat dijalankan dengan spesifikasi standar. Disamping itu, karena banyak teknologi Big Data yang sifatnya open source, tentu mereka dapat diimplementasikan dengan biaya yang lebih murah dibandingkan teknologi yang hanya dimiliki dan dijual oleh suatu perusahaan.
3. Meningkatkan loyalitas pelanggan. Dengan semakin banyaknya data yang bisa diakses oleh berbagai bagian dalam suatu organisasi, juga dengan semakin cepatnya update yang dilakukan pada data-data tersebut, akan memungkinkan respon yang makin cepat dan akurat pula terhadap berbagai permintaan pelanggan.

Kesimpulan
Data adalah emas. Organisasi manapun yang mengusai emas, dapat dipastikan kekayaan dan kekuasaan ada ditangannya. Begitu juga halnya dengan data. Namun demikian, seperti halnya emas, data mesti digali, diproses dan dianalisa dengan serentetan teknologi tertentu demi mendapatkan nilai yang berharga dari lautan data pada era digital sekarang ini. Lautan data tersebut kemudian dikenal dengan istilah Big Data, kumpulan data yang begitu besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software tradisional. Terdapat dua type teknologi untuk memberdayakan Big data, yaitu: (1) teknologi untuk memproses Big Data demi kebutuhan operasional, yakni: database NoSQL (MongoDB, HBase, ...), dan (2) teknologi untuk memproses Big Data guna kebutuhan analitis seperti halnya Hadoop. Dengan mengimplementasikan kedua type teknologi Big Data ini, akan memungkinkan didapatkannya nilai-nilai baru yang dapat memberikan manfaat pada operasional perusahaan berupa penghematan pengeluaran, peningkatan keuntungan, dan pencapaian sasaran-sasaran bisnis lainnya.

7 comments:

rezasatya said...

Saya sudah membaca artikel2 dari blog Anda dan juga buku Anda tentang teknologi Big Data dan cukup membantu sekali bagi saya yg masih awam dalam konsep big data. Ada satu pertanyaan yg ingin saya tanyakan kepada Anda, menurut Anda bagaimanakah teknologi Big Data di Indonesia khusunya di bidang perbankan? Apakah sudah mulai mengikuti teknologi ini? Terima kasih

Vijjam Wjaya said...

Terima kasih sdh membaca buku dan artikel2 saya. Perihal penerapan teknologi Big Data di Indonesia, setahu saya beberapa instansi sdh mulai memakainya walau mungkin masih dalam tahap development.

Untuk di dunia perbankan, mungkin Bank Indonesia sdh menerapkan teknologi ini karena pada 2014 lalu saya pernah dihubungi orang sana.

Selain itu, perusahaan2 online yg menyasar pasar Indonesia, saya yakin bbrapa sdh ada yg menerapkan teknologi Big Data. Sy juga pernah berkomunikasi dgn investor asing yg sdh menjalankan bisnisnya di Indonesia dgn mengimplementasikan model bisnis yg memanfaatkan analisa Big Data.

Johan Fale said...

bagaimana dengan isi e book sama hardcover sama atau ada yang lebih lengkap? thanks

Vijjam Wjaya said...

Isinya sama persis, beda desain sampulnya saja. Terima kasih.

Afifatul Mukaroh said...

Mas, mau tanya.
Menurutku ada kaitannya ga big data dengan Artificial Intelligence?
Lalu menurutmu di Indonesia sekarang-sekarang sudah ada big data atau lagi proses pembentukan big data?
Menurutmu lagi, dari segi human capital... apakah indonesia sudah siap untuk menggali big data?
Adalah big data di bidang lingkungan?

Terimakasih...

Vijjam Wjaya said...

0. Ada yang bilang Big Data + Artificial Intelligence(AI) = Big Data Intelligence. Big Data dan AI, jika digabungkan akan berlaku saling menguatkan. Analisa Big Data membutuhkan algorithma yang cerdas. Dalam hal ini, algorithma Machine Learning telah banyak diterapkan. Sementara itu, AI bisa jadi cerdas jika belajar dari data yang memadai.
0. Saya kira di Indonesia juga sudah terjadi pembentukan Big Data, dan hal ini sudah disadari banyak kalangan. Anda bisa simak artikel tentang pemberdayaan Big Data oleh Ditjen Pajak—> http://www.teknologi-bigdata.com/2017/01/ditjen-pajak-implementasi-teknologi-big-data.html
0. Dari segi Human Capital, saya kira di Indonesia masih belum cukup.
0. “Big Data di bidang lingkungan”? Apa yg anda maksud dengan lingkungan dalam konteks ini?

Wiliz said...

Ada GAME buat android asik nih ! Hadiahnya juga banyak bangetss ! Yok ikutan + jadi member resminya LANGSUNG. Cara ikutan bisa langsung buka link ini>> http://id.luckytablegame.com/envelope.aspx?code=8243222784&name=Andy&t=facebook"