Teknologi Big Data

Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba...

Diantara para pengguna Internet di dunia, atau paling tidak di Indonesia, atau diantara yang membaca artikel ini, adakah yang tidak tahu Google? Dalam usia yang masih sangat muda, Google telah berhasil begitu memasyarakat dan sangat akrab di kalangan para peselancar dunia cyber. Di beberapa tempat Google bahkan telah mendapat julukan yang ditempatkan secara terhormat. Sebut saja di Indoneisia, saya pernah mendengar istilah Mbah Google, yang merujuk pada Google sebagai orang yang sudah matang dalam pengetahuan dan pengalaman. Di Jepang, di kalangan para akademisi, Google biasa disebut Google Sensei (Guru Google), yang menyiratkan bahwa Google itu adalah guru, seseorang yang kaya pengetahuan, tempat bertanya apa saja, dan bisa memberikan jawaban dengan sangat cepat. Tidak hanya di dunia maya Internet, di dunia nyata pun Google telah menjadi primadona.  Pada tahun 2012 Google telah dinobatkan sebagai tempatkerja terbaik diantara 100 perusahaan terbaik di Amerika . Jauh mengunggu...

Dengan teknologi crawler-nya Google telah mampu mendownload seluruh web page yang ada di dunia maya Internet dan terus-menerus meng-update-nya. Lalu, dimana dan bagaimana Google bisa menyimpan dan mengolah file berukuran super besar ini? Apakah Google menyimpannya dalam Hard Disk Drive (HDD) yang super besar juga? Jawabannya, tentu tidak. Solusinya bukan HDD super besar tapi gotong-royong. Gotong-royong dapat membuat pekerjaan yang besar menjadi lebih ringan, dan budaya ini sudah biasa dilakukan bangsa kita sejak ratusan tahun yang lalu. Pertanyaannya, bagaimana komputer bisa bergotong-royong? Dalam artikel " Big Data dan Rahasia Kejayaan Google " telah disebutkan bahwa Google menggunakan teknologi yang disebut Google File System (GFS), Google MapReduce dan Google Bigtable untuk mengolah dan memberdayakan Big Data. Kemudian MapReduce dibahas lebih detail pada artikel " Google MapReduce: Besar dan Powerful tapi tidak Ribet ". Pada kesempatan ini kita akan berbi...

Big Data, sebesar apa? Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data. Dalam artikel berjudul " Gartner SaysSolving 'Big Data' Challenge Involves More Than Just Managing Volumes ofData. " dinyatakan bahwa Big Data itu memilik...