Teknologi Big Data

Pada 1 Februari 2025, Google Finance secara keliru menampilkan nilai tukar Rp 8.170,65 per dolar AS untuk rupiah Indonesia, yang menyebabkan kebingungan luas di kalangan analis keuangan, pedagang, dan masyarakat umum. Nilai tukar pasar yang sebenarnya, sebagaimana dilaporkan oleh Bank Indonesia , berada di sekitar Rp 16.312 per dolar AS , menjadikan perbedaan ini terlalu signifikan untuk diabaikan. Insiden ini tidak hanya menimbulkan kekhawatiran tentang keandalan data keuangan online, tetapi juga menyoroti peran penting teknologi Big Data dalam sistem informasi keuangan. Tantangan Big Data dalam Agregasi Data Keuangan 1. Kegagalan Pengambilan Data dan Pipeline Google Finance, seperti platform keuangan lainnya, mengumpulkan data nilai tukar dari berbagai sumber, termasuk bank sentral, institusi keuangan, dan penyedia data pihak ketiga. Kegagalan dalam pipeline pengambilan data dapat menyebabkan data yang usang atau salah ditampilkan. Kerangka kerja Big Data seperti Apache K...

versi hard copy Dengan rendah hati saya persembahkan buku pertama di Indonesia ( berbahasa Indonesia ) yang membahas teknologi Big Data.  Ada tiga hal yang menjadi motivasi saya untuk menulis buku ini: (1) perkembangan teknologi Big Data yang makin menyita perhatian dalam dunia teknologi informasi dan bisnis modern; (2) adanya kemajuan dan sambutan yang positif akan adopsi teknologi Big Data di Indonesia; (3) belum adanya sebuah buku berbahasa Indonesia yang khusus membahas tentang teknologi Big Data ( saat penerbitan edisi pertama pada tahun 2015 ). Buku ini didedikasikan untuk memberikan pengetahuan dasar namun komprehensif tentang konsep Big Data beserta teknologi terapannya. Disajikan sedemikian rupa mulai dari teori yang sifatnya konseptual, tutorial, hingga contoh implementasi sederhana yang berbasis   real world data . Pembahasan dimulai dengan definisi Big Data, latar belakang munculnya istilah tersebut, serta berbagai contoh kasus aplikasinya....

Pada artikel sebelumnya ( Analisa Sentimen Masyarakat terhadap Presiden Jokowi Berdasar Data Twitter: Sebuah Contoh Sederhana Pemberdayaan Big Data ) telah dibahas bagaimana memberdayakan data tak berstruktur (teks twitter) untuk mengukur sentimen terhadap suatu subyek (dalam hal ini Presiden Jokowi) dengan mengimplementasikan pola pemrosesan Big Data dan salah satu algorithma machine learning . Dengan menerapkan metode yang cukup sederhana, dapat dicapai hasil akhir berupa persentase sentimen Positif, Negatif, maupun Netral terhadap Presiden Jokowi selama kurun waktu satu bulan (April 2018). Selain itu, juga didapat data tentang hashtag/tagar maupun tweet/cuitan mana yang berkontribusi signifikan terhadap tiap sentimen. Pada artikel ini, serupa dengan artikel sebelumnya , topik yang dibahas masih seputar mengukur sentimen netizen terhadap Presiden Jokowi dengan menganalisa cuitan Twitter. Namun, data yang dianalisa adalah cuitan Twitter selama bulan Mei 2018 dengan klasifikasi s...

Dewasa ini, eksploitasi media sosial sudah tidak dimonopoli oleh urusan bisnis belaka, tetapi telah secara nyata diberdayakan pada ranah politik. Beberapa waktu lalu, diberitakan bahwa media sosial seperti Twitter dan Facebook telah memberi pengaruh signifikan terhadap kemenangan Presiden Donald Trump pada pemilihan presiden Amerika Serikat tahun 2016. Selain itu, akhir-akhir ini juga marak diberitakan perihal kasus Cambridge Analytica yang memanfaatkan data pengguna dari media sosial Facebook maupun Twitter untuk kepentingan politik. Kali ini, akan dibahas contoh sederhana analisa data media sosial Twitter untuk mengetahui proporsi sentimen masyarakat (secara umum) terhadap Presiden Joko Widodo (Jokowi) dalam kurun waktu satu bulan (April 2018). Hasil yang dapat diharapkan dari analisa ini adalah seberapa besar persentase masyarakat yang menaruh sentimen POSITIF, NEGATIF, maupun NETRAL terhadap Presiden Jokowi, serta faktor-faktor apa saja yang mempengaruhi komposisi sentimen t...

Adopsi teknologi Big Data di Indonesia kini sudah bukan sekedar wacana di tingkat penelitian dan prototyping saja, tetapi sudah sampai pada tahap implementasi secara nyata, baik di dunia bisnis maupun di lingkungan institusi pemerintahan. Terlebih lagi, pemberdayaan teknologi yang masih tergolong baru ini, khususnya di Indonesia, sudah menunjukkan hasil yang nyata pula. Sebut saja Go-Jek, sebuah produk bisnis inovatif yang telah sukses merealisasikan berbagai jenis layanan dalam satu aplikasi. Hal ini dimungkinkan berkat keberhasilan Go-Jek membangun back-end Big Data yang solid dan komprehensif. Kemudian, di kalangan instansi pemerintahan, Ditjen Pajak juga sudah menggelontorkan dana triliunan rupiah demi optimalkan penerimaan pajak melalui pemberdayaan Big Data. Demikian juga dengan Bank Indonesia, telah mengadopsi teknologi Big Data sejak tahun 2014 silam yang diberdayakan dalam perumusan kebijakan. Bank Mandiri Sadar Potensi Big Data Menyadari potensi Big Data yang begit...

Mengikuti Sukses Implementasi Teknologi Big Data Pemberitaan tentang suksesnya implementasi teknologi Big Data di negara-negara maju oleh perusahaan-perusahaan web service seperti halnya Google, Facebook, Amazon, maupun Yahoo!, mungkin sudah cukup sering kita simak. Bukan hanya oleh sektor swasta, di Amerika Serikat teknologi Big Data juga telah sukses diterapkan oleh institusi-institusi pemerintah. Sebagai salah satu contohnya, sebut saja NOAA (National Oceanic and Atmospheric Administration) yang mengelola 30 petabytes data baru pertahunnya. Data-data tersebut berasal satelit, kapal laut, pesawat terbang, buoy, dan sensor-sensor lainnya, yang kemudian diberdayakan untuk menyediakan layanan cuaca nasional (National Weather Service). Layanan cuaca ini menyediakan informasi seputar peringatan cuaca buruk maupun petunjuk cuaca untuk sektor publik dan swasta, termasuk Departemen Pertahanan Amerika Serikat dan NASA. Dalam hal ini, Indonesia tidak mau ketinggalan, dalam beberapa tahun ...

Pada artikel sebelumnya ( Membangun Mesin Pencari dengan Kombinasi Apache Nutch, Elasticsearch, dan MongoDB ) telah dibahas secara singkat tentang apa itu Apache Nutch, apa itu Elasticsearch, dan Apa itu MongoDB. Pada bagian 2 ini akan dibahas langkah demi langkah tentang bagaimana membangun web crawler dengan Apache Nutch, melakukan crawling terhadap website yang dijadikan target, kemudian menyimpan hasil crawling tersebut dalam bentuk data terstruktur menggunakan MongoDB, serta membangun mensin pencari menggunakan Elasticsearch sehingga dapat dilakukan penelisikan dan analisis terhadap data-data hasil crawling tersebut. Software yang harus disiapkan sebelumnya diantaranya (harus sudah siap digunakan) : 1. OS jenis Linux, bisa CentOS 7, Ubuntu 14.0.4 LTS, Mac OSX 10.9 (Mavericks) 2. Java, dalam hal ini digunakan Oracle JRE 1.8 atau Oracle JRE 1.7 3. Apache Ant Java dan Apache Ant harus sudah diinstal dengan benar di OS yang digunakan. Disini tidak akan dibahas tentang cara-car...

Membangun Web Crawler, tidak mahal! Pada artikel "Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data" telah dibahas tentang apa itu web crawler, apa itu web crawling, dan bagaimana peranan web crawling sebagai salah satu teknik pengumpulan data di Era Big Data. Banyak dari kita yang mungkin sedang atau pernah punya ide untuk membangun sebuah web crawler untuk mengorek isi website yang kita jadikan target dan merunut tautan yang terdapat padanya. Kemudian, menyimpan data-data yang setengah terstruktur tersebut menjadi data terstruktur dalam suatu database serta membangun mesin pencari tersendiri untuk melakukan full text search dan menganalisa data-data yang telah terkumpul tersebut. Data-data yang telah berstruktur ini bisa digunakan untuk keperluan riset maupun untuk menghasilkan suatu analisis guna menyusun strategi tertentu. Kini, untuk mewujudkan ide tersebut bukanlah suatu hal yang terlampau sulit, juga bukan merupakan benda yang terlalu mahal. K...

Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan ...

Dengan rendah hati saya persembahkan buku pertama di Indonesia ( berbahasa Indonesia ) yang membahas teknologi Big Data.  Ada tiga hal yang menjadi motivasi saya untuk menulis buku ini: (1) perkembangan teknologi Big Data yang makin menyita perhatian dalam dunia teknologi informasi dan bisnis modern; (2) adanya kemajuan dan sambutan yang positif akan adopsi teknologi Big Data di Indonesia; (3) belum adanya sebuah buku berbahasa Indonesia yang khusus membahas tentang teknologi Big Data ( saat penerbitan edisi pertama pada tahun 2015 ). Buku ini didedikasikan untuk memberikan pengetahuan dasar namun komprehensif tentang konsep Big Data beserta teknologi terapannya. Disajikan sedemikian rupa mulai dari teori yang sifatnya konseptual, tutorial, hingga contoh implementasi sederhana yang berbasis   real world data . Pembahasan dimulai dengan definisi Big Data, latar belakang munculnya istilah tersebut, serta berbagai contoh kasus aplikasinya. Kemudian ...

Penjelasan tentang apa itu HBase telah dibahas pada artikel HBase: Hyper NoSQL Database . Untuk pembahasan yang lebih lugas dan komprehensif disertai ilustrasi yang lebih memudahkan pemahaman, dapat dibaca di buku "Teknologi Big Data: Sistem Canggih dibalikGoogle, Yahoo!, Facebook, IBM" . Tidak hanya tentang HBase, buku ini tentu juga membahas teknologi Big Data lainnya seperti Google File System , Google MapReduce , Google Bigtable serta Hadoop yang terdiri atas Hadoop Distributed File System (HDFS) dan Hadoop MapReduce . Pembahasan diawali dengan penjelasan tentang definisi Big Data yang disertai dengan beberapa contoh aplikasi Big Data dalam dunia bisnis modern , lalu diakhiri dengan tutorial untuk menjalankan Hadoop dan HBase secara standalone maupun sebagai distributed system. Bagi mereka yang baru mengenal Hadoop maupun HBase pasti menginginkan paling tidak satu contoh kasus penggunaan Hadoop maupun HBase dalam memproses data sungguhan dari dunia nyata. Oleh karen...