Teknologi Big Data

Men- setup dan menjalankan Apache Spark mode Fully Distributed akan jauh lebih mudah dan murah jika menggunakan cloud services seperti halnya Amazon Web Services (AWS) dibandingkan dengan menjalankannya di rumah sendiri (akan membutuhkan paling tidak 3 komputer, Local Area Network , dan install Apache Spark di tiap komputer tersebut). Ilustrasi : ambsoft.de Apa yang perlu disiapkan? #1 Install Apache Spark mode Standalone di local environment Bisa menggunakan laptop Windows, MacOS, ataupun Linux. Bagi pengguna MacOS, silakan ikuti tutorialnya disini : Cara Install dan Menjalankan Apache Spark pada MacOS Catalina Untuk pengguna Windows 10 atau 7, tutorialnya ada disini: Membuat dan Menjalankan Aplikasi Apache Spark dengan Intellij IDEA pada OS Windows #2 Gunakan Maven untuk mem- package program aplikasi Apache Spark Jika Anda telah mengikuti tutorial untuk menginstal dan menjalankan Apache Spark baik di OS Windows ataupun MacOS seperti pada item...

AWS (Amazon Web Service) menawarkan fitur login interaktif via secure shell (SSH) pada sejumlah layanannya, seperti: Elastic Compute (EC2) dan Elastic MapReduce (EMR). Agar bisa menggunakan fitur interactive shell command pada Amazon EMR maupun EC2, terlebih dahulu kita harus bisa login di master node dengan menggunakan SSH. Pada OS Linux maupun MacOS modern, program SSH biasanya sudah menjadi software bawaan, sedangkan di Windows kita bisa menggunakan Putty secure shell client. AWS menggunakan public key cryptography untuk meng-encrypt dan men-decrypt komunikasi antara clients (Windows, MacOS, Linux) dan AWS servers. Metode pengamanan komunikasi dan informasi ini menggunakan pasangan Public Key dan Private Key (dalam hal ini, seharusnya hanya pengguna lah yang punya akses terhadap Private Key). Membuat "EC2 Key Pair" Amazon EMR dan EC2 menggunakan "EC2 key pair" untuk melakukan otentikasi penggunanya dan memfasilitasi login interaktif. "EC2 key pair...

Pada laman Amazon Web Services (AWS) , login ke AWS Management Console kemudian pilih service Amazon Elasctic MapReduce (EMR).     Selanjutnya, ikuti langkah-langkah berikut: Pada laman Amazon EMR klik button Create Cluster. Isi kolom nama cluster (contoh : My Cluster) dan aktifkan Logging Isi parameter-parameter berikut untuk mengkonfigurasi kluster : Pilih Launch Mode : Cluster Release : pilih release terbaru (saat artikel ini dibuat, versi terbaru adalah emr-6.0.0 Application : Spark: Spark 2.4.4 on Hadoop 3.2.1 YARN with Ganglia 3.7.2 and Zeppelin 0.9.0-SNAPSHOT Instance Type : m5.xlarge (atau pilih sesuai kebutuhan) Number of Instances : 3 (1 master dan 2 core nodes)  EC2 key pair : pilih nama EC2 key pair yang telah dibuat sebelumnya (jika belum buat, silakan ikuti langkah-langkah pembuatan EC2 key pair di artikel ini :   ) Permission : Default EMR role : EMR_DefaultRole EC2 instance profile : EMR_EC2_DefaultRole Cek kembali konfig...