Teknologi Big Data

Data Science Data Science adalah bidang yang melibatkan pengolahan data dalam jumlah besar untuk membangun model prediktif, preskriptif, dan deskriptif. Ini mencakup kegiatan seperti mengumpulkan, memproses, menganalisis, hingga memanfaatkan data untuk berbagai tujuan, termasuk membangun model yang bisa memprediksi atau memberikan rekomendasi. Data Science menggabungkan ilmu komputer, bisnis, dan statistik. Contoh Aplikasi Data Science: 1. Model Prediktif: Data Science sering digunakan untuk membuat model yang bisa memprediksi kejadian di masa depan dengan menganalisis data historis menggunakan algoritma statistik dan pembelajaran mesin. 2. Intelijen Bisnis:  Dengan menganalisis kumpulan data besar, perusahaan dapat memahami perilaku pelanggan, tren pasar, dan faktor lain yang membantu mereka membuat keputusan bisnis yang lebih baik. 3. Deteksi Penipuan:  Di sektor keuangan, Data Science membantu mendeteksi penipuan dengan menganalisis pola transaksi yang mencurigakan. 4. A...

Awal Februari 2019 lalu, pada artikel Trend Sentimen Netizen terhadap Presiden Jokowi sepanjang Tahun 2018  telah dirilis hasil analisa sentimen terhadap Presiden Jokowi berdasar data Twitter sepanjang th 2018. Hasilnya dapat disimak pada tabel dan grafik berikut (dalam satuan %): positif (%) netral (%) negatif (%) Januari 13,73 79,38 6,89 Februari 15,02 78,55 6,43 Maret 14,72 78,14 7,14 April 15,89 75,27 8,84 Mei 16,67 74,38 8,95 Juni 21,77 69,23 9,00 Juli 19,38 73,41 7,21 Agustus 18,77 73,84 7,39 September 19,53 72,46 8,01 Oktober 21,51 69,54 8,95 Nopember 26,36 63,87 9,77 Desember 26,08 65,50 8,42 Rata-rata 19,12 72,80 8,08 Tabel 1. Persentase sentimen positif, netral, negatif sepanjang tahun 2018 Grafik 1. Persentase sentimen positif, netra...

    Dalam rentang waktu 1 Januari s.d. 31 Desember 2018, sekitar 3.739.336 cuitan berhasil di- crawl dan di- filter  dari Twitter dengan kata kunci “jokowi”. Jutaan cuitan tersebut kemudian diproses menggunakan  Apache Spark dan MongoDB untuk menemukan kecenderungan sentimen netizen terhadap Presiden Jokowi selama tahun 2018.     Hasilnya, porsi sentimen positif jauh lebih besar daripada sentimen negatif. Sepanjang tahun 2018, persentase sentimen positif cenderung meningkat dengan rasio signifikan, mulai 13,73 % pada Januari menjadi 26,08 % pada Desember 2018. Sejalan dengan itu, persentase sentimen negatif juga mengalami peningkatan, namun dengan rasio yang jauh lebih kecil, dari 6,89% pada Januari menjadi 8,42% pada Desember 2018. Tidak hanya sentimen, dengan analisa lebih lanjut, didapatkan juga temuan-temuan berikut: Hashtag atau Tagar apa yang paling populer dan bagaimana kontribusinya pada proporsi sentimen positif, negatif, dan netral. ...

       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-...