OPTIMASI JUMLAH TOPIK KORPUS MENGGUNAKAN METODE LATENT DIRICHLET ALLOCATION (LDA)

Abstract

Latent Dirichlet Allocation (LDA) merupakan sebuah model probabilitas untuk mengelompokkan topik yang tersembunyi di dalam dokumen dengan jumlah topik yang ditetapkan sebelumnya. Penentuan jumlah topik K yang kurang tepat akan mengakibatkan terbatasnya korelasi kata dengan topik, jumlah topik K terlalu besar atau terlalu kecil menyebabkan ketidakakuratan pengelompokkan topik pada pembentukan model training. Pada penelitian ini bertujuan untuk menentukan jumlah topik korpus yang optimal pada metode LDA dengan menggunakan pendekatan maximum likelihood dan Minimum Description Length (MDL). Proses eksperimen menggunakan artikel berita bahasa Indonesia dengan jumlah dokumen 25, 50, 90, 600 jumlah kata 3898, 7760, 13005, 4365. Hasil penelitian ini menunjukan bahwa pendekatan maximum likelihood dan MDL menghasilkan jumlah topik optimal yang sama. Jumlah topik optimal sangat dipengaruhi oleh parameter alfa dan beta. Banyaknya dokumen tidak mempengaruhi waktu komputasi, akan tetapi jumlah kata yang mempengaruhi waktu komputasi. Waktu komputasi untuk masing masing dataset tersebut adalah 2.9721 detik, 6.49637 detik, 13.2967 detik, dan 3.7152 detik. Penerapan hasil model optimasi jumlah topik LDA sebagai model klasifikasi, menghasilkan rata-rata nilai akurasi tertinggi 60% dengan parameter alfa 0.1 dan beta 0.001. Kata kunci : jumlah topik, likelihood, minimum discription length, latent dirichlet allocation, pengelompokan. Latent Dirichlet Allocation (LDA) is a probability model for grouping hidden topics in documents by the number of predefined topics. Incorrectly, determining the number of K topics will result in limited word correlation with topics, the number of K topics too large or small causes the inaccuracies of grouping topics in the formation of training models. This study aims to determine the optimal number of corpus topics in the LDA method using the maximum likelihood and Minimum Description Length (MDL) approach. The experimental process used an Indonesian news articles with the number of documents such 25, 50, 90, 600 with the number of words 3898, 7760, 13005, 4365. The results showed that the maximum likelihood and MDL approach resulted in the same number of optimal topics. The optimal number of topics is influenced by alpha and beta parameters. In addition, the number of documents does not affect the computation times, but the number of words that affect computing time. Computational times for each of those datasets are 2.9721, 6.49637, 13.2967, and 3.7152 seconds. The optimazation model have results a number of LDA topic as a classification model, this experiment shows highest average accuracy of 60% with alpha 0.1 and beta 0.001. Keywords : number of topic, likelihood, minimum discription length, latent dirichlet allocation, clustering.