Langkah-langkah Set Up HBase


Pada artikel "HBase:Hyper NoSQL Database" telah saya bahas dengan cukup detail tentang apa itu HBase mulai dari definisi, struktur data, arsitektur hingga keunggulan yang dimilikinya. Kali ini tiba saatnya untuk membahas step by step set up HBase untuk bisa memakai HBase dan merasakan performanya secara langsung.

1. Hal-hal yang harus disiapkan terlebih dahulu
              1) PC dengan OS Linux (kali ini kita pakai CentOS-6.2 64 Bit)
              2) Hadoop-1.0.4 (Silakan pilih salah satu mode Hadoop sbb)
                 - InstallHadoop Mode Pseudo Distributed
                 - Installhadoop Mode Fully Distributed
              3) Open JDK-1.7.0_09-icedtea 64 Bit

2. Set up mode Standalone
              1) Download HBase-0.94.5.tar.gz
              2) Extract HBase-0.94.5.tar.gz
              3) Set JAVA_HOME
                 - buka file hbase-0.94.5/conf/hbase-env.sh dan tambahkan baris berikut
                  export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64

              4) Biar lebih praktis, kita set saja binary directory hbase pada command-line path
                  export HBASE_HOME=/home/hadoop/hbase-0.94.5
                  export PATH=$PATH:$HBASE_HOME/bin
             5) Start HBase dengan command berikut:
                  $ start-hbase.sh
              6) Start HBase Shell dengan command berikut, kemudian kita coba membuat table dengan nama 'testTable' yang memiliki satu column family 'colFam1'
                  $ hbase shell


    HBase Shell; enter 'help<RETURN>' for list of supported commands.
　Type "exit<RETURN>" to leave the HBase Shell
　Version 0.94.5, r1443843, Fri Feb  8 05:51:25 UTC 2013
　hbase(main):001:0> create 'testTable', 'colFam1'
　0 row(s) in 2.0330 seconds

　hbase(main):002:0> list
    TABLE                                                                                                                                                  
　testTable                                                                                                                                                                                                     
　1 row(s) in 0.0320 seconds

　hbase(main):003:0> put 'testTable', 'row1', 'colFam1:col1', 'value1'
　0 row(s) in 0.1090 seconds

　hbase(main):004:0> put 'testTable', 'row2', 'colFam1:col2', 'value2'
　0 row(s) in 0.0080 seconds

　hbase(main):005:0> put 'testTable', 'row3', 'colFam1:col3', 'value3'
　0 row(s) in 0.0080 seconds

　hbase(main):006:0> scan 'testTable'
　ROW                                                  COLUMN+CELL                                                                                                                                               
　row1                                                column=colFam1:col1, timestamp=1361870571841, value=value1                                                                                               
　row2                                                column=colFam1:col2, timestamp=1361870618755, value=value2                                                                                               
　row3                                                column=colFam1:col3, timestamp=1361870639961, value=value3                                                                                               
　3 row(s) in 0.0500 seconds

　hbase(main):007:0> disable 'testTable'
　0 row(s) in 2.0920 seconds

　hbase(main):008:0> drop 'testTable'
　0 row(s) in 1.1430 seconds

　hbase(main):009:0> exit


             7) Shutdown HBase dengan command sbb:
                  $ stop-hbase.sh

3. Set up mode Fully Distributed
              Untuk meng-upgrade HBase dari mode Standalone ke mode Fully Distributed, silakan ikuti langkah-langkah sbb:
              1) Edit file hbase-0.94.5/conf/hbase-site.xml seperti contoh berikut:
<configuration>

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:54310/hbase</value>
        <description>
        The directory shared by RegionServers.
        </description>
</property>
hbase.rootdir adalah root directory HBase pada HDFS yang akan digunakan oleh RegionServers untuk menyimpan regions (files).
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
        <description>
                        The mode the cluster will be in. Possible values are false:　standalone and pseudo-distributed setups with managed Zookeeper true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
        </description>
</property>
<value>true</value> berarti HBase dijalankan dengan mode Fully Distributed.
<property>
        <name>hbase.zookeeper.quorum</name>
        <value>
                cssec164.nda.ac.jp,cssec149.nda.ac.jp,cssec154.nda.ac.jp
        </value>
        <description>
        Comma separated list of servers in the ZooKeeper Quorum. By default this is set to localhost for local and pseudo-distributed modes of operation. For a fully-distributed setup, this should be set to a full list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.sh, this is the list of servers which we will start/stop Zookeeper on.
        </description>
</property>
Cantumkan komputer-komputer yang akan digunakan sebagai ZooKeeper. Jumlahnya harus ganjil.
<property>
         <name>hbase.zookeeper.property.dataDir</name>
         <value>/home/hadoop/zookeeper</value>                         <description>
          Property from ZooKeeper's config zoo.cfg.　The directory where the snapshot is stored.
         </description>
</property>
Siapkan satu directory untuk menyimpan snapshot ZooKeeper.
<property>
         <name>hbase.master.info.bindAddress</name>
         <value>10.35.2.85</value>
         <description>
         The bind address for the HBase Master web UI
         </description>
</property>
Cantumkan IP address komputer yang berperan sebagai HMaster.
</configuration>


              2) Edit file hbase-0.94.5/conf/regionservers
              Cantumkan IP address atau hostname dari komputer-komputer yang berperan sebagai region server. Dalam hal ini kita bisa menggunakan komputer yang menjadi datanode pada HDFS. Contohnya:
              slave1
              slave2
              3)Setting pada ZooKeeper
              HBase bergantung pada cluster ZooKeeper yang telah di-set up sebelumnya. Secara default, HBase akan me-manage sendiri cluster ZooKeeper yang akan digunakannya tanpa harus kita sendiri yang menyiapkannya. Dengan demikian, cluster ZooKeeper akan menjadi bagian dari proses start dan shutdown HBase. Setiap kali HBase di-start atau di-shutdown, secara otomatis ZooKeeper juga akan di-start atau dimatikan
              4) Setting HDFS client.
              Setting file HDFS (hadoop-1.0.4/conf/hdfs-site.xml) harus bisa diakses dari configuration directory HBase (hbase-0.94.5/conf). Salah satu caranya adalah dengan menggunakan symlinks. Buat file bernama hdfs-site.xml pada configuration directory HBase, dan kemudian symlinks-kan file tersebute ke setting file HDFS. Contohnya sbb:
Anggap saja setting file HDFS adalah : /home/hadoop/hadoop-1.0.4/conf/hdfs-site.xml
Command symlinks-nya adalah:
              $ ln -s /home/hadoop/hadoop-1.0.4/conf/hdfs-site.xml ./hdfs-site.xml
Jalankan command diatas dari configuration directory HBase.
              5) Berikut adalah port number yang digunakan secara default oleh HBase. Pastikan setting firewall pada linux telah mengijinkan akses pada port-port tsb.
             
①　2181                :ZooKeeper client port.
②　2888                :ZooKeeper peers port.
③　3888                :ZooKeeper leader election port.
④　60000               :HBase Master port.
⑤　60010               :HBase Master web UI port.
⑥　60020               :HBase RegionServer port.
⑦　60030               :HBase RegionServer web UI port.
⑧　8080                :HBase REST server port.

              6) Start HBase
                $ start-hbase.sh
                Jika HBase berjalan normal, maka HMaster akan bisa diakses melalui web browser dengan menunjuk IP address dan port number-nya:
                       http://10.35.2.85:60010/master-status



Gambar 1. Tampilan status HMaster pada web browser.

Demikian penjelasan singkat tentang set up HBase baik mode Standalone maupun mode Fully Distributed. Selamat mencoba! 

Comments

Revathi said…
Thanks for sharing such informative guide on .Net technology. This post gives me detailed information about the .net technology. keep it up!!
android training in chennai

android online training in chennai

android training in bangalore

android training in hyderabad

android Training in coimbatore

android training

android online training

August 11, 2020 at 3:18 PM
The Blogger Worlds said…
An amazing, simple-to-utilize video proofreader for Windows. With the Movavi Video Editor Crack, you can unfasten portions of video clasps!! Movavi Video Editor Crack Download For Pc
August 13, 2022 at 11:23 PM
Post a Comment

Popular posts from this blog

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Image
Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan
Read more

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Image
 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping. import requests from bs4 import BeautifulSoup page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"
Read more

MapReduce: Besar dan Powerful, tapi Tidak Ribet

Image
Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.
Read more

HBase: Hyper NoSQL Database

Image
Latar Belakang Hinggal awal 2013 ini, Google setidaknya telah mempublikasikan tiga system canggihnya dalam hubungannya dengan pengelolaan dan pemberdayaan Big Data (“ Big Data dan Rahasia Kejayaan Google ”). Ketiga system canggih tersebut adalah Google File System , Google MapReduce , dan Google Bigtable . Semuanya merupakan sistem terdistribusi (Distributed System) yang dikenal handal, mampu mengolah data berukuran raksasa dengan efektif dan efisien, serta fleksibel. Ketiga sistem terdistibusi ini adalah sistem yang saling terkait erat, namun memiliki pembagian tugas yang jelas (“ Tiga TeknologiPamungkas Mbah Google ”). Ketika kebutuhan untuk memproses data dalam ukuran super besar atau yang dikenal dengan istilah Big Data mulai dirasakan oleh berbagai perusahaan terutama yang berhubungan langsung dengan pengolahan dan pengelolaan data, ketiga teknologi Google tersebut mulai mendapat banyak sorotan. Sayang, publikasi Google tentang teknologi canggihnya itu hanya sebatas konsep,
Read more

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

Image
       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-nya, memfasilitasi berbagai jenis peker
Read more

HDFS: Berawal dari Google untuk Big Data

Image
Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba
Read more

Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10

Image
    Hadoop adalah framework open-source berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan. Kebutuhan Software Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10: Java JDK 1.8, dapat diunduh dari https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html Hadoop Patch File untuk OS Windows, dapat d
Read more

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Image
RETaS (Read English   Tanpa Kamus)   adalah aplikasi buat kamu yang suka baca teks Inggris, tapi tak mau repot buka kamus! Cara pakainya pun sangat mudah, sederhana, dan praktis. Tinggal sentuh saja kata yang tidak kamu mengerti, dengan seketika akan ditampilkan artinya. Dibuat dengan implementasi Core ML ( Machine Learning ), framework canggih original buatan Apple di California, aplikasi ini (RETaS) memungkinkan kamu untuk lancar membaca teks Inggris tanpa perlu adanya kamus. Untuk bisa segera mencoba, RETaS! sudah memuat sejumlah teks Inggris yang enak dibaca sesuai selera kamu. Isinya berupa bacaan fiksi maupun non-fiksi: ada cerita-cerita dongeng ringan, percakapan sehari-hari, deskripsi tentang   landmark terkenal dunia,  tips and tricks , cerita sejarah menarik, academic reading , dan masih banyak lagi. Tambah seru lagi, kamu juga bisa " post / submit " teks Inggris punya kamu sendiri, sehingga kamu bisa baca lancar tanpa repot buka kamus. Kamu bisa post / submit te
Read more

Big Data dan Rahasia Kejayaan Google

Big Data, sebesar apa? Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data. Dalam artikel berjudul " Gartner SaysSolving 'Big Data' Challenge Involves More Than Just Managing Volumes ofData. " dinyatakan bahwa Big Data itu memilik
Read more

Validitas Rapid Test Covid 19 : Accuracy vs F1-Score, Pilih yang Mana?

Image
Ilustrasi : bloomberg.com Pada masa pandemi Covid 19 ini, berbagai jenis (merek) alat Rapid Diagnostic Test (RDT) Antibodi Covid 19, atau lebih dikenal dengan istilah Rapid Test , telah diimpor dalam skala besar demi percepatan penanganan Covid 19 di tanah air. Kini, alat Rapid Test ini telah bebas diperjualbelikan secara online. Terkait hal ini, Gugus Tugas Percepatan Penanganan Covid-19 telah mengeluarkan daftar rekomendasi RDT Antibodi Covid-19 yang terdiri atas 20 merek ( Soal Alat Rapid Test Vivadiag, BNPB: Ini Berita Bikin Heboh aja ). Namun demikian, beredar berita bahwa alat Rapid Test merek tertentu diduga tidak akurat ( Beda Hasil Test Bikin Heboh, Dinkes Tarik Rapid Test Merk Viva Diag ). Bahaya Rapid Test yang Tak Akurat : False Positive & False Negative Alat Rapid Test Covid 19 tidak dapat menentukan secara pasti apakah seseorang telah positif terjangkit Covid 19 atau tidak. Banya
Read more