Import data from HDFS to HBase


There are 2 ways to directly import data from HDFS to HBase

1. By Running MapReduce Program on Eclipse.

1) Make a new Java Project whose classpath is as follow:

<?xml version="1.0" encoding="UTF-8"?>
<classpath>
  <classpathentry kind="src" path="src"/>
  <classpathentry kind="con" path="org.eclipse.jdt.launching.JRE_CONTAINER"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/hbase-0.94.5.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/commons-cli-1.2.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/commons-logging-1.1.1.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/commons-configuration-1.6.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/log4j-1.2.16.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/zookeeper-3.4.5.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hadoop-1.0.4/hadoop-core-1.0.4.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hadoop-1.0.4/lib/commons-lang-2.4.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/slf4j-log4j12-1.4.3.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/slf4j-api-1.4.3.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/protobuf-java-2.4.0a.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/jackson-mapper-asl-1.8.8.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/jackson-core-asl-1.8.8.jar"/>
  <classpathentry kind="lib" path="/home/hadoop/hbase-0.94.5/lib/commons-httpclient-3.1.jar"/>
  <classpathentry kind="output" path="bin"/>
</classpath>

2) Set the program argument to point the input file location / input file URI on HDFS:

                hdfs://master:54310/home/input/weatherData
              hdfs://cssec164.nda.ac.jp:54310/home/input/weatherData
             
3) Run the Program, and as a result the designated data / files will be loaded to a table in HBase cluster.

2. By Running MapReduce Program through Command Line.

1) Having made sure that the program run normally on Eclipse, copy the class files in the ProjectName/bin directory to a location on Linux.




2) Make a jar file from the class files. BUT, before proceed it, make a text file which will be used as the MANIFEST of the jar files. This text file will contain the program MAIN CLASS name and the CLASSPATH as follow (hbaseClassPath.txt) :

Manifest-Version: 1.0
Main-Class: temperatureData.HBaseTemperatureImporter
Class-Path: /home/hadoop/hbase-0.94.5/hbase-0.94.5.jar /home/hadoop/hb
 ase-0.94.5/lib/commons-cli-1.2.jar /home/hadoop/hbase-0.94.5/lib/comm
 ons-logging-1.1.1.jar /home/hadoop/hbase-0.94.5/lib/commons-configura
 tion-1.6.jar /home/hadoop/hbase-0.94.5/lib/log4j-1.2.16.jar /home/had
 oop/hbase-0.94.5/lib/zookeeper-3.4.5.jar /home/hadoop/hadoop-1.0.4/ha
 doop-core-1.0.4.jar /home/hadoop/hadoop-1.0.4/lib/commons-lang-2.4.ja
 r /home/hadoop/hbase-0.94.5/lib/slf4j-log4j12-1.4.3.jar /home/hadoop/
 hbase-0.94.5/lib/slf4j-api-1.4.3.jar /home/hadoop/hbase-0.94.5/lib/pr
 otobuf-java-2.4.0a.jar /home/hadoop/hbase-0.94.5/lib/jackson-mapper-a
 sl-1.8.8.jar /home/hadoop/hbase-0.94.5/lib/jackson-core-asl-1.8.8.jar
  /home/hadoop/hbase-0.94.5/lib/commons-httpclient-3.1.jar

The Class-Path variable must at 70 characters width (except the last line) and must be started with a space in every new line (except the first line).

Make a jar file from the class files in bin directory using hbaseClassPath.txt to set the MANIFEST of the jar file.

jar -cvfm HBaseTemperatureImporter.jar hbaseClassPath.txt -C bin/ .

Execute the jar file to import data/files from HDFS to HBase

java -jar HBaseTemperatureImporter.jar hdfs://master:54310/home/input/weatherData

Comments

Post a Comment

Popular posts from this blog

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

Image
       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-...
Read more

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Image
RETaS (Read English   Tanpa Kamus)   adalah aplikasi buat kamu yang suka baca teks Inggris, tapi tak mau repot buka kamus! Cara pakainya pun sangat mudah, sederhana, dan praktis. Tinggal sentuh saja kata yang tidak kamu mengerti, dengan seketika akan ditampilkan artinya. Dibuat dengan implementasi Core ML ( Machine Learning ), framework canggih original buatan Apple di California, aplikasi ini (RETaS) memungkinkan kamu untuk lancar membaca teks Inggris tanpa perlu adanya kamus. Untuk bisa segera mencoba, RETaS! sudah memuat sejumlah teks Inggris yang enak dibaca sesuai selera kamu. Isinya berupa bacaan fiksi maupun non-fiksi: ada cerita-cerita dongeng ringan, percakapan sehari-hari, deskripsi tentang   landmark terkenal dunia,  tips and tricks , cerita sejarah menarik, academic reading , dan masih banyak lagi. Tambah seru lagi, kamu juga bisa " post / submit " teks Inggris punya kamu sendiri, sehingga kamu bisa baca lancar tanpa repot buka kamus. Kamu bisa post / s...
Read more

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Image
Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan ...
Read more

Buku tentang Teknologi Big Data : Sistem Canggih dibalik Google, Yahoo!, Facebook, IBM - versi hard copy

Image
Dengan rendah hati saya persembahkan buku pertama di Indonesia ( berbahasa Indonesia ) yang membahas teknologi Big Data.  Ada tiga hal yang menjadi motivasi saya untuk menulis buku ini: (1) perkembangan teknologi Big Data yang makin menyita perhatian dalam dunia teknologi informasi dan bisnis modern; (2) adanya kemajuan dan sambutan yang positif akan adopsi teknologi Big Data di Indonesia; (3) belum adanya sebuah buku berbahasa Indonesia yang khusus membahas tentang teknologi Big Data ( saat penerbitan edisi pertama pada tahun 2015 ). Buku ini didedikasikan untuk memberikan pengetahuan dasar namun komprehensif tentang konsep Big Data beserta teknologi terapannya. Disajikan sedemikian rupa mulai dari teori yang sifatnya konseptual, tutorial, hingga contoh implementasi sederhana yang berbasis   real world data . Pembahasan dimulai dengan definisi Big Data, latar belakang munculnya istilah tersebut, serta berbagai contoh kasus aplikasinya. Kemudian ...
Read more

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Image
 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping. import requests from bs4 import BeautifulSoup page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"...
Read more

Bagaimana Cara Membaca Google Play eBook Secara Offline?

Image
Tulisan ini berawal dari review seorang yang membeli buku " Teknologi Big Data: Sistem Canggih dibalik Google, Facebook, Yahoo!, IBM " versi eBook di Google Play Books . Pada reviewnya tertulis bahwa buku tersebut hanya bisa dibaca secara online. Padahal, ebook yang dibeli di Google Play Books dapat dibaca baik secara online maupun offline, baik pada perangkat mobile maupun pada komputer Windows, Mac OS X, serta Linux. Lalu, bagaimana cara membaca Google Play Book secara offline? Adapun langkah-langkah yang mesti dilakukan adalah sebagai berikut: Pada Perangkat Mobile (Android maupun iOS) 1. Pastikan perangkat anda terhubung dengan Internet. 2. Jika aplikasi Google Play Books belum terinstal pada perangkat mobile anda, silakan mengunduhnya dari iOS App Store maupun Android Play Store. 3. Buka aplikasi Google Play Books, dan sentuhlah buku yang ingin anda download. Begitu buku yang ingin anda baca tersebut selesai di-download, maka anda dapat membacanya pada pera...
Read more

Menjalankan Aplikasi Hadoop MapReduce dengan Eclipse Java SE

Image
TUTORIAL INI SUDAH DIPERBAHARUI DI " Membuat dan Menjalankan Aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows " Untuk menjalankan suatu aplikasi MapReduce pada Hadoop, kita mesti membuat file jar (namaAplikasi.jar) dari aplikasi tersebut. Sudah tentu source code dari aplikasi yang akan kita jalankan itu harus di compile dulu, class file hasil compilasi itulah yang dikompres dalam satu jar file. Bila aplikasi yang kita jalankan masih dalam tahap pengembangan/percobaan, tentu akan cukup merepotkan jika harus membuat jar file tiap kali aplikasi tersebut akan dijalankan. Oleh karena itu, penggunaan Eclipse dalam proses pengembangan aplikasi MapReduce dapat dijadikan sebagai satu alternatif yang cukup praktis dan feseable. Proses pengembangan aplikasi jadi lebih mudah.
Read more

Apa itu 'BIG DATA'?

Image
Akhir-akhir ini, istilah 'big data' menjadi topik yang dominan dan sangat sering dibahas dalam industri IT. Banyak pihak yang mungkin heran kenapa topik ini baru menjadi pusat perhatian padahal ledakan informasi telah terjadi secara berkelangsungan sejak dimulainya era informasi. Perkembangan volume dan jenis data yang terus meningkat secara berlipat-lipat dalam dunia maya Internet semenjak kelahirannya adalah fakta yang tak dapat dipungkiri. Mulai data yang hanya berupa teks, gambar atau foto, lalu data berupa video hingga data yang berasal system pengindraan. Lalu kenapa baru sekarang orang ramai-ramai membahas istilah big data? Apa sebenarnya 'big data' itu?
Read more

Memahami Definisi Big Data

Image
Beberapa tahun belakangan ini, jika ditanyakan tentang apa yang sedang menjadi trend dalam dunia Teknologi Informasi (TI), mungkin banyak yang akan menjawab " Cloud Computing" . Tetapi, sejak awal tahun 2011 muncul istilah " Big Data " yang kemudian menarik perhatian banyak profesional maupun pemerhati Teknologi Informasi. Sejauh ini, perusahaan-perusahaan terkemuka telah memberdayakan infomasi dan data dengan beragam teknologi manajemen data guna menunjang kemajuan bisnisnya. Sebagian besar telah menggunakan tools seperti Data Warehouse (DWH) maupun Business Intelligence (BI) serta aplikasi manajemen harga dan penjualan lainnya sebagai alat pengolah data yang mereka perlukan dalam aktifitas bisnis. Definisi Big Data Jika diterjemahkan secara mentah-mentah maka Big Data berarti suatu data dengan kapasitas yang besar. Sebagai contoh, saat ini kapasitas DWH yang digunakan oleh perusahaan-perusahaan di Jepang berkisar dalam skala terabyte. Namun, jika misa...
Read more