Amazon Web Service (AWS) : Cara Koneksi ke Kluster Elastic MapReduce (EMR) Menggunakan Secure Shell (SSH) dari Linux dan MacOS


AWS (Amazon Web Service) menawarkan fitur login interaktif via secure shell (SSH) pada sejumlah layanannya, seperti: Elastic Compute (EC2) dan Elastic MapReduce (EMR).
Agar bisa menggunakan fitur interactive shell command pada Amazon EMR maupun EC2, terlebih dahulu kita harus bisa login di master node dengan menggunakan SSH.
Pada OS Linux maupun MacOS modern, program SSH biasanya sudah menjadi software bawaan, sedangkan di Windows kita bisa menggunakan Putty secure shell client.

AWS menggunakan public key cryptography untuk meng-encrypt dan men-decrypt komunikasi antara clients (Windows, MacOS, Linux) dan AWS servers.
Metode pengamanan komunikasi dan informasi ini menggunakan pasangan Public Key dan Private Key (dalam hal ini, seharusnya hanya pengguna lah yang punya akses terhadap Private Key).

Membuat "EC2 Key Pair"

Amazon EMR dan EC2 menggunakan "EC2 key pair" untuk melakukan otentikasi penggunanya dan memfasilitasi login interaktif.
"EC2 key pair" tersebut disimpan dalam format file PEM yang nantinya dapat digunakan oleh client SSH saat melakukan koneksi ke servers EC2.

Login ke AWS Management Console, kemudian pilih dan klik EC2.


Pada Navigation Pane di sebelah kiri, buka Network & Security group, kemudian klik Key Pairs.


Klik button Create Key Pair, berikan nama, kemudian klik button Create Key Pair.

 

Begitu button Create Key Pair diklik, file .PEM akan segera di-download.
File ini berisi Private Key yang akan digunakan untuk meng-encrypt dan men-decrypt pertukaran data (saat login dsb) antara komputer Anda dan servers Amazon Web Services.
Jadi, simpanlah file ini baik-baik.

Konek ke Kluster AWS Elastic MapReduce (EMR) 

Pertama-tama, pastikan kluster AWS EMR telah siap digunakan.
Langkah-langkah membuat kluster AWS EMR ada pada artikel : Langkah-langkah Membuat dan Konfigurasi Kluster Amazon Elastic MapReduce (Amazon EMR).

Gunakan command ssh berikut untuk login ke Master node kluster EMR
  
ssh -i NamaEC2KeyPair.pem hadoop@master-public-dns-dari-kluster-emr-yang-telah-dibuat.compute.amazonaws.com

NamaEC2KeyPair.pem adalah nama EC2 Key Pair (nama file .PEM yang telah di-download)
hadoop@master-public-dns-dari-kluster-emr-yang-telah-dibuat.compute.amazonaws.com adalah Master node public DNS dari kluster EMR yang telah dibuat.

Jika SSH berhasil, maka akan muncul tampilan berikut:



Catatan :

Ada kalanya muncul error "Operation time out" saat mencoba SSH ke Master node kluster EMR.
Error ini disebabkan oleh IP address komputer yang kita gunakan belum diberikan ijin akses SSH.
Solusinya; klik Security groups pada Cluster Console/Dashboard.
Lalu, klik button "Edit inbound rules", tambahkan SSH dan pada field Source (asal IP) pilih MyIP.
Solusi ini ada di StackOverFlow : https://stackoverflow.com/questions/39095655/operation-timed-out-error-on-trying-to-ssh-in-to-the-amazon-emr-spark-cluster

Selain error diatas, bisa juga muncul error :

+-----------------------------------------------------+
|    WARNING: UNPROTECTED PRIVATE KEY FILE!           |
+-----------------------------------------------------+



Error ini terjadi karena file .PEM yang disimpan di komputer lokal masih dapat diakses user lain selain pemilik file tersebut.

Solusinya adalah dengan mengubah permission pada file tersebut dengan command berikut:




chmod 400 My_Private_Key_File_Name.pem

























Comments








Post a Comment

























Popular posts from this blog









Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data




















Image







  Data adalah Emas  Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan.   Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak?   Sejalan dengan 








Read more










Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data




















Image







        Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.            Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-nya, memfasilitasi berbagai jenis peker








Read more










Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup




















Image







 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python  menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests  untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping.  import requests from bs4 import BeautifulSoup  page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"








Read more










MapReduce: Besar dan Powerful, tapi Tidak Ribet




















Image







       Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.  








Read more










HBase: Hyper NoSQL Database




















Image







  Latar Belakang   Hinggal awal 2013 ini, Google setidaknya telah mempublikasikan tiga system canggihnya dalam hubungannya dengan pengelolaan dan pemberdayaan Big Data (“ Big Data dan Rahasia Kejayaan Google ”). Ketiga system canggih tersebut adalah Google File System , Google MapReduce , dan Google Bigtable . Semuanya merupakan sistem terdistribusi (Distributed System) yang dikenal handal, mampu mengolah data berukuran raksasa dengan efektif dan efisien, serta fleksibel. Ketiga sistem terdistibusi ini adalah sistem yang saling terkait erat, namun memiliki pembagian tugas yang jelas (“ Tiga TeknologiPamungkas Mbah Google ”).   Ketika kebutuhan untuk memproses data dalam ukuran super besar atau yang dikenal dengan istilah Big Data mulai dirasakan oleh berbagai perusahaan terutama yang berhubungan langsung dengan pengolahan dan pengelolaan data, ketiga teknologi Google tersebut mulai mendapat banyak sorotan. Sayang, publikasi Google tentang teknologi canggihnya itu hanya sebatas konsep, 








Read more










Validitas Rapid Test Covid 19 : Accuracy vs F1-Score, Pilih yang Mana?




















Image







       Ilustrasi : bloomberg.com    Pada masa pandemi Covid 19 ini,  berbagai jenis (merek) alat Rapid Diagnostic Test  (RDT)  Antibodi Covid 19, atau lebih dikenal dengan istilah Rapid Test , telah diimpor dalam skala besar demi percepatan penanganan Covid 19 di tanah air.                 Kini, alat Rapid Test ini telah bebas diperjualbelikan secara online.                 Terkait hal ini, Gugus Tugas Percepatan Penanganan Covid-19 telah mengeluarkan daftar rekomendasi RDT Antibodi Covid-19 yang terdiri atas 20 merek ( Soal Alat Rapid Test Vivadiag, BNPB: Ini Berita Bikin Heboh aja ).                 Namun demikian, beredar berita bahwa alat Rapid Test merek tertentu diduga tidak akurat ( Beda Hasil Test Bikin Heboh, Dinkes Tarik Rapid Test Merk Viva Diag ).       Bahaya Rapid Test  yang Tak Akurat : False Positive  & False Negative      Alat Rapid Test Covid 19 tidak dapat menentukan secara pasti apakah seseorang telah positif terjangkit Covid 19 atau tidak.                 Banya








Read more










Aplikasi iPhone : RETaS Read English Tanpa Kamus!




















Image







RETaS (Read English   Tanpa Kamus)   adalah aplikasi buat kamu yang suka baca teks Inggris, tapi tak mau repot buka kamus! Cara pakainya pun sangat mudah, sederhana, dan praktis. Tinggal sentuh saja kata yang tidak kamu mengerti, dengan seketika akan ditampilkan artinya. Dibuat dengan implementasi  Core ML ( Machine Learning ), framework  canggih original buatan Apple di California, aplikasi ini (RETaS) memungkinkan kamu untuk lancar membaca teks Inggris tanpa perlu adanya kamus. Untuk bisa segera mencoba, RETaS! sudah memuat sejumlah teks Inggris yang enak dibaca sesuai selera kamu. Isinya berupa bacaan fiksi maupun non-fiksi: ada cerita-cerita dongeng ringan, percakapan sehari-hari, deskripsi tentang   landmark terkenal dunia,  tips and tricks , cerita sejarah menarik, academic reading , dan masih banyak lagi. Tambah seru lagi, kamu juga bisa " post / submit " teks Inggris punya kamu sendiri, sehingga kamu bisa baca lancar tanpa repot buka kamus. Kamu bisa post / submit  te








Read more










Big Data dan Rahasia Kejayaan Google





















  Big Data, sebesar apa?   Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data.     Dalam artikel berjudul " Gartner SaysSolving 'Big Data' Challenge Involves More Than Just Managing Volumes ofData. " dinyatakan bahwa Big Data itu memilik








Read more










HDFS: Berawal dari Google untuk Big Data




















Image







  Segala sesuatu mulai dari definisi   HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba








Read more










Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10




















Image







     Hadoop adalah framework open-source  berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan.      Kebutuhan Software   Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10:        Java JDK 1.8, dapat diunduh dari https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html      Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html      Hadoop Patch File untuk OS Windows, dapat d








Read more