ANALISIS KINERJA WORDCOUNT MAPREDUCE PADA MULTI-NODE HADOOP CLUSTER

Abstract

Perkembangan teknologi yang pesat menyebabkan pertumbuhan data meningkat secara eksponensial. Data yang berkembang sangat pesat tersebut akhirnya menjadi tantangan bagi banyak perusahaan teknologi seperti Google, Yahoo, IBM, dan Microsoft. Yahoo akhirnya menciptakan sebuah sistem untuk mengolah data berdasarkan MapReduce yang dinamakan Hadoop. Karateristik utama dari Hadoop adalah cara kerjanya yaitu mempartisi data dan melakukan komputasi diberbagai komputer host yang tergabung didalam cluster sehingga membuat pengolahan data menjadi lebih cepat dibandingkan dengan distribusi file secara konvensional. Hadoop dapat dibangun pada perangkat komoditas standar yang umum dipasaran dan dapat berasal dari berbagai vendor. Penelitian ini melakukan pengujian terhadap salah satu keunggulan Hadoop yaitu dapat diimplementasikan pada perangkat komoditas di laboratorium Informatika Universitas Diponegoro. MapReduce Wordcount digunakan sebagai program benchmarking untuk menganalisa kinerja dari cluster Hadoop yang dibuat pada penelitian. Tiga skenario pengujian dilakukan pada single-node cluster dan multi-node cluster Hadoop yang dibuat untuk melihat performa dari MapReduce Hadoop dalam mengolah sebuah file. Pengujian skenario pertama dilakukan dengan menggunakan empat data uji berupa file teks berukuran 64 MB, 256 MB, 512 MB, 1 GB, 2 GB dan 4 GB. Hasil yang didapatkan adalah Hadoop lebih cepat dalam mengolah data yang berukuran lebih besar dari block size. Pada skenario kedua dilakukan pengujian mengenai pengaruh jumlah node dalam performa eksekusi Wordcount. Data yang digunakan adalah file xml berukuran 50 MB, 256 MB, 512 MB dan 945 MB. Hasil yang didapatkan dari pengujian adalah terjadinya peningkatan performa dengan penambahan node pada data berukuran 945 MB. Pengujian skenario ketiga membandingkan pengaruh ukuran block size 128 MB dan 256 MB dan ukuran file uji terhadap performa MapReduce Hadoop. Pengujian menghasilkan ukuran block size mempunyai pengaruh yang berbeda terhadap setiap ukuran file uji. Semakin besar file yang diujikan, block size dengan ukuran yang lebih besar menghasilkan performa yang lebih baik. Kata Kunci: Hadoop, MapReduce, single-node cluster, multi-node cluster, block size.