Teknologi Big Data

There are 2 ways to directly import data from HDFS to HBase 1. By Running MapReduce Program on Eclipse. 1) Make a new Java Project whose classpath is as follow: <? xml version = "1.0" encoding = "UTF-8" ?> < classpath >   < classpathentry kind = "src" path = "src" />   < classpathentry kind = "con" path = "org.eclipse.jdt.launching.JRE_CONTAINER" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/hbase-0.94.5.jar" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/lib/commons-cli-1.2.jar" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/lib/commons-logging-1.1.1.jar" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/lib/commons-configuration-1.6.jar" />   < classpathentry kind = ...

Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba...

TUTORIAL INI SUDAH DIPERBAHARUI DI " Membuat dan Menjalankan Aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows " Untuk menjalankan suatu aplikasi MapReduce pada Hadoop, kita mesti membuat file jar (namaAplikasi.jar) dari aplikasi tersebut. Sudah tentu source code dari aplikasi yang akan kita jalankan itu harus di compile dulu, class file hasil compilasi itulah yang dikompres dalam satu jar file. Bila aplikasi yang kita jalankan masih dalam tahap pengembangan/percobaan, tentu akan cukup merepotkan jika harus membuat jar file tiap kali aplikasi tersebut akan dijalankan. Oleh karena itu, penggunaan Eclipse dalam proses pengembangan aplikasi MapReduce dapat dijadikan sebagai satu alternatif yang cukup praktis dan feseable. Proses pengembangan aplikasi jadi lebih mudah.