Teknologi Big Data

AWS (Amazon Web Service) menawarkan fitur login interaktif via secure shell (SSH) pada sejumlah layanannya, seperti: Elastic Compute (EC2) dan Elastic MapReduce (EMR). Agar bisa menggunakan fitur interactive shell command pada Amazon EMR maupun EC2, terlebih dahulu kita harus bisa login di master node dengan menggunakan SSH. Pada OS Linux maupun MacOS modern, program SSH biasanya sudah menjadi software bawaan, sedangkan di Windows kita bisa menggunakan Putty secure shell client. AWS menggunakan public key cryptography untuk meng-encrypt dan men-decrypt komunikasi antara clients (Windows, MacOS, Linux) dan AWS servers. Metode pengamanan komunikasi dan informasi ini menggunakan pasangan Public Key dan Private Key (dalam hal ini, seharusnya hanya pengguna lah yang punya akses terhadap Private Key). Membuat "EC2 Key Pair" Amazon EMR dan EC2 menggunakan "EC2 key pair" untuk melakukan otentikasi penggunanya dan memfasilitasi login interaktif. "EC2 key pair...

Pada laman Amazon Web Services (AWS) , login ke AWS Management Console kemudian pilih service Amazon Elasctic MapReduce (EMR).     Selanjutnya, ikuti langkah-langkah berikut: Pada laman Amazon EMR klik button Create Cluster. Isi kolom nama cluster (contoh : My Cluster) dan aktifkan Logging Isi parameter-parameter berikut untuk mengkonfigurasi kluster : Pilih Launch Mode : Cluster Release : pilih release terbaru (saat artikel ini dibuat, versi terbaru adalah emr-6.0.0 Application : Spark: Spark 2.4.4 on Hadoop 3.2.1 YARN with Ganglia 3.7.2 and Zeppelin 0.9.0-SNAPSHOT Instance Type : m5.xlarge (atau pilih sesuai kebutuhan) Number of Instances : 3 (1 master dan 2 core nodes)  EC2 key pair : pilih nama EC2 key pair yang telah dibuat sebelumnya (jika belum buat, silakan ikuti langkah-langkah pembuatan EC2 key pair di artikel ini :   ) Permission : Default EMR role : EMR_DefaultRole EC2 instance profile : EMR_EC2_DefaultRole Cek kembali konfig...