Indonesian Summarizer

 

You can summarize Indonesian text from two different kinds of text sources:

1. Indonesian text from online sources or webpages such as obaradai.com  etc.

Proceed to  SUMMARIZE INDONESIAN TEXT from ONLINE SOURCES  (Webpage URL)

2. Indonesian text from offline sources or various types of files such as text file, MS Word, PDF etc.

Proceed to SUMMARIZE INDONESIAN TEXT from FILES  (MS Word, Text file, PDF, or other file format)

Comments

Post a Comment

Popular posts from this blog

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Image
 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping. import requests from bs4 import BeautifulSoup page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"
Read more

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

Image
       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-nya, memfasilitasi berbagai jenis peker
Read more

MapReduce: Besar dan Powerful, tapi Tidak Ribet

Image
Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.
Read more

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Image
Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan
Read more

Validitas Rapid Test Covid 19 : Accuracy vs F1-Score, Pilih yang Mana?

Image
Ilustrasi : bloomberg.com Pada masa pandemi Covid 19 ini, berbagai jenis (merek) alat Rapid Diagnostic Test (RDT) Antibodi Covid 19, atau lebih dikenal dengan istilah Rapid Test , telah diimpor dalam skala besar demi percepatan penanganan Covid 19 di tanah air. Kini, alat Rapid Test ini telah bebas diperjualbelikan secara online. Terkait hal ini, Gugus Tugas Percepatan Penanganan Covid-19 telah mengeluarkan daftar rekomendasi RDT Antibodi Covid-19 yang terdiri atas 20 merek ( Soal Alat Rapid Test Vivadiag, BNPB: Ini Berita Bikin Heboh aja ). Namun demikian, beredar berita bahwa alat Rapid Test merek tertentu diduga tidak akurat ( Beda Hasil Test Bikin Heboh, Dinkes Tarik Rapid Test Merk Viva Diag ). Bahaya Rapid Test yang Tak Akurat : False Positive & False Negative Alat Rapid Test Covid 19 tidak dapat menentukan secara pasti apakah seseorang telah positif terjangkit Covid 19 atau tidak. Banya
Read more

HDFS: Berawal dari Google untuk Big Data

Image
Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba
Read more

HBase: Hyper NoSQL Database

Image
Latar Belakang Hinggal awal 2013 ini, Google setidaknya telah mempublikasikan tiga system canggihnya dalam hubungannya dengan pengelolaan dan pemberdayaan Big Data (“ Big Data dan Rahasia Kejayaan Google ”). Ketiga system canggih tersebut adalah Google File System , Google MapReduce , dan Google Bigtable . Semuanya merupakan sistem terdistribusi (Distributed System) yang dikenal handal, mampu mengolah data berukuran raksasa dengan efektif dan efisien, serta fleksibel. Ketiga sistem terdistibusi ini adalah sistem yang saling terkait erat, namun memiliki pembagian tugas yang jelas (“ Tiga TeknologiPamungkas Mbah Google ”). Ketika kebutuhan untuk memproses data dalam ukuran super besar atau yang dikenal dengan istilah Big Data mulai dirasakan oleh berbagai perusahaan terutama yang berhubungan langsung dengan pengolahan dan pengelolaan data, ketiga teknologi Google tersebut mulai mendapat banyak sorotan. Sayang, publikasi Google tentang teknologi canggihnya itu hanya sebatas konsep,
Read more

MongoDB : Database NoSQL Berbasis Dokumen yang sedang Naik Daun di Era Big Data

Image
Apa itu MongoDB? MongoDB adalah database NoSQL yang berbasis dokumen yang bersifat cross-platform, open-source, dan dapat digunakan secara gratis. MongoDB telah hadir sebagai salah satu database NoSQL yang sedang naik daun seiring dengan makin populernya penggunaan database NoSQL pada era Big Data sekarang ini. Adapun perusahaan-perusahaan besar yang telah menggunakan MongoDB diantaranya: Adobe, Facebook, eBay, video game FIFA, Foursquare, LinkedIn, McAfee, MetLife dan masih banya lagi. MongoDB adalah database multi-fungsi yang kuat, fleksibel, dan skalabel. MongoDB menggabungkan kemampuan bekerja dalam berbagai skala dengan fitur-fitur seperti secondary indexes (indeks tambahan selain indeks utama), range queries (penelisikan dalam suatu rentang tertentu), sorting (pengurutan data), aggregations (penggabungan dataset), dan geospatial indexes (indeks geospasial). Database berbasis Dokumen "Document Oriented Database" Sebagai database NoSQL yang berbasis dokumen atau
Read more

Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data

Image
Apa itu Web Crawler? Web crawler atau yang dikenal juga dengan istilah web spider atau web robot adalah program yang bekerja dengan metode tertentu dan secara otomatis mengumpulkan semua informasi yang ada dalam suatu website. Web crawler akan mengunjungi setiap alamat website yang diberikan kepadanya, kemudian menyerap dan menyimpan semua informasi yang terkandung didalam website tersebut. Setiap kali web crawler mengunjungi sebuah website, maka dia juga akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian dikunjungi lagi satu persatu. Ketika crawlers menemukan halaman web, tugas selanjutnya adalah mengambil data-data dari halaman web dan menyimpannya ke dalam suatu media penyimpanan (harddisk). Data-data yang disimpan ini, nantinya dapat diakses pada saat dilakukan query yang berhubungan dengan data tersebut. Untuk mencapai tujuan mengumpulkan milyaran halaman web dan menyajikannya dalam hitungan detik, search engine membutuhkan data center yang sanga
Read more

Teknologi Big Data Fundamental: Kelebihan Hadoop versi 2 dibanding Hadoop versi 1

Image
Apa itu Apache Hadoop Apache Hadoop adalah software framework yang memungkinkan pemrosesan data berukuran besar secara terdistribusi dengan melibatkan berkluster-kluster komputer. Hadoop didesain untuk dapat bekerja secara efektif baik dalam skala terkecil yang hanya melibatkan satu server hingga skala besar yang memperkerjakan ribuan komputer dimana masing-masing komputer tersebut memfasilitasi komputasi dan penyimpanan data secara lokal. Untuk menjamin High Availability, Hadoop tidak menggantungkannya pada hardware yang digunakan, tetapi framework Hadoop itu sendiri telah didesain untuk dapat mendeteksi dan menangani gagal fungsi (failure) pada level/layer aplikasi. Framework Hadoop terdiri atas 4 komponen (modul) utama, sebagai berikut: 1. Hadoop Distributed File System (HDFS), adalah file-system terdistribusi yang memfasilitasi penyimpanan data secara terdistribusi dalam kluster komputer. 2. Hadoop MapReduce, adalah sebuah sistem yang ditujukan untuk memproses data berukur
Read more