Amazon Web Services (AWS) : Langkah-langkah Membuat dan Konfigurasi Kluster Amazon Elastic MapReduce (EMR)

Pada laman Amazon Web Services (AWS) , login ke AWS Management Console kemudian pilih service Amazon Elasctic MapReduce (EMR).

 
 
Selanjutnya, ikuti langkah-langkah berikut:
  1. Pada laman Amazon EMR klik button Create Cluster.
  2. Isi kolom nama cluster (contoh : My Cluster) dan aktifkan Logging
  3. Isi parameter-parameter berikut untuk mengkonfigurasi kluster :
    1. Pilih Launch Mode : Cluster
    2. Release : pilih release terbaru (saat artikel ini dibuat, versi terbaru adalah emr-6.0.0
    3. Application : Spark: Spark 2.4.4 on Hadoop 3.2.1 YARN with Ganglia 3.7.2 and Zeppelin 0.9.0-SNAPSHOT
    4. Instance Type : m5.xlarge (atau pilih sesuai kebutuhan)
    5. Number of Instances : 3 (1 master dan 2 core nodes) 
    6. EC2 key pair : pilih nama EC2 key pair yang telah dibuat sebelumnya (jika belum buat, silakan ikuti langkah-langkah pembuatan EC2 key pair di artikel ini :   )
    7. Permission : Default
    8. EMR role : EMR_DefaultRole
    9. EC2 instance profile : EMR_EC2_DefaultRole
    10. Cek kembali konfigurasi yang telah dibuat. Jika sudah yakin benar, klik button Create Cluster.
    11. Kluster akan ditampilkan dengan status Starting (pada tahap ini kluster akan melalui proses validasi yang memakan waktu maksimal 2 jam)
    12. Setelah validasi selesai dan sukses, status kluster akan menjadi Waiting (sampai disini, kluster telah sukses dibuat dan dikonfigurasi, dan seharusnya sudah siap pakai)
Cukup mudah bukan, jauh lebih mudah daripada membuat kluster lokal dengan komputer/server sendiri.

Selanjutnya, mari kita coba mengakses Master node pada kluster yang telah dibuat dengan menggunakan Secure Shell (SSH).
Langkah-langkahnya ada di artikel : Cara Koneksi SSH (Secure Shell) ke Amazon Elastic MapReduce (EMR) dari OS Linux dan MacOS.

Catatan : 

Pada langkah 3.10. , ada kalanya muncul error terkait EMR_EC2_DefaultRole.
Jika error ini muncul, klik sekali lagi button Create Cluster.
Setelah ini, kemungkinan akan muncul error terkait nama bucket S3 sebagai destinasi logging.
Jika error ini muncul, login ke Amazon S3 dan hapus bucket S3 destinasi logging tersebut.
Setelah itu, klik lagi button Create Cluster.




Comments

Julian Hogan said…
Great readding this

Popular posts from this blog

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

MapReduce: Besar dan Powerful, tapi Tidak Ribet

HBase: Hyper NoSQL Database

Validitas Rapid Test Covid 19 : Accuracy vs F1-Score, Pilih yang Mana?

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Big Data dan Rahasia Kejayaan Google

HDFS: Berawal dari Google untuk Big Data

Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10