Friday, January 25, 2019

Membuat dan Menjalankan Aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows

Pada artikel Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 telah dibahas bagaimana menginstall Hadoop 2 mode standalone pada OS Windows 7 maupun Windows 10. Setelah Hadoop berhasil di-install, kali ini kita akan mencoba untuk membuat dan menjalankan sebuah contoh aplikasi MapReduce "WordCount" dengan menggunakan IDE Intellij IDEA pada OS Windows. Kebetulan versi OS yang digunakan adalah Windows 10.
Software yang diperlukan adalah sebagai berikut ( sudah harus terinstal dan berjalan normal ) :
Langkah-langkah menjalankan aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows
  1. Start Intellij IDEA as Administrator

    Buka Intellij IDEA as Administrator

  2. Buat Maven Project dari menu File > New > Project > Maven ( silakan ikuti sesuai gambar, kemudian terakhir klik Finish ):
    New Project > Maven > Next

    GroupId, ArtifacId, Version > Next

    Project Name, Project location > Finish
  3. Muat Hadoop Library dari menu File > Project Structure > Modules > Dependencies > + > 1 JARs or directories…
    Dependencies: semua sub-direktori pada hadoop

    Dependencies: sub-direktori lib dari direktori hadoop\common
  4. Buat Java Package "wordcount" dengan klik kanan WordCount > src > main > java > New > Package
    New Package > wordcount
  5. Buat Java Class "WordCount.java" dengan klik kanan WordCount > src > main > java > wordcount > New > Java Class
    New Class > WordCount
  6. Buka WordCount.java, kemudian copy-paste source code WordCount.java dari Github
  7. Edit konfigurasi untuk menjalankan program WordCount dari menu Run > Edit Configuration… > + > Application ( Ingat! buat direktori input, tapi JANGAN buat direktori output. Kemudian taruh sembarang text file direktori input )
    Run Configuration
  8. Jalankan aplikasi dari menu Run > Run 'WordCount' ( Hasilnya adalah seperti gambar )
    Hasil WordCount

Demikian, Selamat Mencoba !

2 comments:

teuku wahyu said...

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/base/Preconditions
at org.apache.hadoop.conf.Configuration$DeprecationDelta.(Configuration.java:361)
at org.apache.hadoop.conf.Configuration$DeprecationDelta.(Configuration.java:374)
at org.apache.hadoop.conf.Configuration.(Configuration.java:456)
at wordcount.WordCount.main(WordCount.java:52)
Caused by: java.lang.ClassNotFoundException: com.google.common.base.Preconditions
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 4 more


kalo muncul error gtu, kanapa yaa mas ?

Vijjam Wjaya said...

klo berdasar pesan errornya, ada class yg kurang
-->Caused by: java.lang.ClassNotFoundException: com.google.common.base.Preconditions