Membuat dan Menjalankan Aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows

Pada artikel Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 telah dibahas bagaimana menginstall Hadoop 2 mode standalone pada OS Windows 7 maupun Windows 10. Setelah Hadoop berhasil di-install, kali ini kita akan mencoba untuk membuat dan menjalankan sebuah contoh aplikasi MapReduce "WordCount" dengan menggunakan IDE Intellij IDEA pada OS Windows. Kebetulan versi OS yang digunakan adalah Windows 10.
Software yang diperlukan adalah sebagai berikut ( sudah harus terinstal dan berjalan normal ) :
Langkah-langkah menjalankan aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows
  1. Start Intellij IDEA as Administrator

    Buka Intellij IDEA as Administrator

  2. Buat Maven Project dari menu File > New > Project > Maven ( silakan ikuti sesuai gambar, kemudian terakhir klik Finish ):
    New Project > Maven > Next

    GroupId, ArtifacId, Version > Next

    Project Name, Project location > Finish
  3. Muat Hadoop Library dari menu File > Project Structure > Modules > Dependencies > + > 1 JARs or directories…
    Dependencies: semua sub-direktori pada hadoop

    Dependencies: sub-direktori lib dari direktori hadoop\common
  4. Buat Java Package "wordcount" dengan klik kanan WordCount > src > main > java > New > Package
    New Package > wordcount
  5. Buat Java Class "WordCount.java" dengan klik kanan WordCount > src > main > java > wordcount > New > Java Class
    New Class > WordCount
  6. Buka WordCount.java, kemudian copy-paste source code WordCount.java dari Github
  7. Edit konfigurasi untuk menjalankan program WordCount dari menu Run > Edit Configuration… > + > Application ( Ingat! buat direktori input, tapi JANGAN buat direktori output. Kemudian taruh sembarang text file direktori input )
    Run Configuration
  8. Jalankan aplikasi dari menu Run > Run 'WordCount' ( Hasilnya adalah seperti gambar )
    Hasil WordCount

Demikian, Selamat Mencoba !

Comments

Anonymous said…
Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/base/Preconditions
at org.apache.hadoop.conf.Configuration$DeprecationDelta.(Configuration.java:361)
at org.apache.hadoop.conf.Configuration$DeprecationDelta.(Configuration.java:374)
at org.apache.hadoop.conf.Configuration.(Configuration.java:456)
at wordcount.WordCount.main(WordCount.java:52)
Caused by: java.lang.ClassNotFoundException: com.google.common.base.Preconditions
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 4 more


kalo muncul error gtu, kanapa yaa mas ?
Vijjam Wjaya said…
klo berdasar pesan errornya, ada class yg kurang
-->Caused by: java.lang.ClassNotFoundException: com.google.common.base.Preconditions
Anonymous said…
Exception in thread "main" 0: No such file or directory
at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.java:236)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:763)
at org.apache.hadoop.fs.ChecksumFileSystem$1.apply(ChecksumFileSystem.java:506)
at org.apache.hadoop.fs.ChecksumFileSystem$FsOperation.run(ChecksumFileSystem.java:487)
at org.apache.hadoop.fs.ChecksumFileSystem.setPermission(ChecksumFileSystem.java:503)
at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:720)
at org.apache.hadoop.mapreduce.JobResourceUploader.mkdirs(JobResourceUploader.java:648)
at org.apache.hadoop.mapreduce.JobResourceUploader.uploadResourcesInternal(JobResourceUploader.java:167)
at org.apache.hadoop.mapreduce.JobResourceUploader.uploadResources(JobResourceUploader.java:128)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:101)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)
at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)
at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1893)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588)
at jumlahkata.JumlahKata.main(JumlahKata.java:62)

Process finished with exit code 1


KALAU SEPRTI INI ERRORNYA KENAPA YA MAS.?
Eko Ramadhan said…
bantu jawab, itu aplikasi intelij idea nya ga bisa akses file system jadi harus di run administrator dulu aplikasinya

Popular posts from this blog

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

MapReduce: Besar dan Powerful, tapi Tidak Ribet

HBase: Hyper NoSQL Database

Validitas Rapid Test Covid 19 : Accuracy vs F1-Score, Pilih yang Mana?

HDFS: Berawal dari Google untuk Big Data

Big Data dan Rahasia Kejayaan Google

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10