Application of Natural Language Processing with Supervised Machine Learning Techniques to Predict the Overall Drugs Performance

Pius MARTHIN; Duygu İÇEN

doi:https://doi.org/10.5824/ajite.2020.01.001.x

Article Details

Application of Natural Language Processing with Supervised Machine Learning Techniques to Predict the Overall Drugs Performance

Authors:

Pius MARTHIN | Duygu İÇEN

Publisher:

Akademik Bilişim Araştırmaları Derneği

Journal:

AJIT-e: Online Academic Journal of Information Technology 2020 Vol.11 Issue 40, pp.8-23

Document Type:

Article

Publication Date:

5/2020

Document Language:

English

Document ID (Org No.):

2000860174

Frequency:

Quarterly

eISSN:

1309-1581

DOI:

https://doi.org/10.5824/ajite.2020.01.001.x

Keywords:

Abstract:

 

Online product reviews have become a valuable source of information which facilitate customer decision with respect to a particular product. With the wealthy information regarding user's satisfaction and experiences about a particular drug, pharmaceutical companies make the use of online drug reviews to improve the quality of their products. Machine learning has enabled scientists to train more efficient models which facilitate decision making in various fields. In this manuscript we applied a drug review dataset used by (Gräβer, Kallumadi, Malberg,& Zaunseder,  2018), available freely from machine learning repository website of the University of California Irvine (UCI) to identify best machine learning model which provide a better prediction of the overall drug performance with respect to users' reviews. Apart from several manipulations done to improve model accuracy, all necessary procedures required for text analysis were followed including text cleaning and transformation of texts to numeric format for easy training machine learning models. Prior to modeling, we obtained overall sentiment scores for the reviews. Customer's reviews were summarized and visualized using a bar plot and word cloud to explore the most frequent terms. Due to scalability issues, we were able to use only the sample of the dataset. We randomly sampled 15000 observations from the 161297 training dataset and 10000 observations were randomly sampled from the 53766 testing dataset. Several machine learning models were trained using 10 folds cross-validation performed under stratified random sampling. The trained models include Classification and Regression Trees (CART), classification tree by C5.0, logistic regression (GLM), Multivariate Adaptive Regression Spline (MARS), Support vector machine (SVM) with both radial and linear kernels and a classification tree using random forest (Random Forest).  Model ion was done through a comparison of accuracies and computational efficiency. Support vector machine (SVM) with linear kernel was significantly best with an accuracy of 83% compared to the rest. Using only a small portion of the dataset, we managed to attain reasonable accuracy in our models by applying the TF-IDF transformation and Latent Semantic Analysis (LSA) technique to our TDM.

 

Çevrimiçi ürün incelemeleri, belirli bir ürünle ilgili müşterilerin karar almasını kolaylaştıran değerli bir bilgi kaynağı haline gelmiştir. İlaç şirketleri, ürünlerinin kalitesini artırmak adına kullanıcının memnuniyeti ve belirli bir ilaçla ilgili deneyimleri hakkındaki zengin bilgilerle donatılmış olan çevrimiçi ilaç incelemelerini kullanır. Makine öğrenimi, bilim insanlarının çeşitli alanlarda karar vermeyi kolaylaştıran daha verimli modeller geliştirmelerini sağlamaktadır. Bu makalede UCI makine öğrenimi veri havuzu web sitesinden Gräβer, Kallumadi, Malberg ve Zaunseder (2018) tarafından kullanılan bir ilaç inceleme verisini ele aldık. Amacımız kullanıcıların yaptıkları incelemelerine göre genel ilaç performansının daha iyi tahmin edilmesini sağlayan en iyi makine öğrenme modelini belirlemektir. Model doğruluğunu artırmak için yapılan çeşitli manipülasyonların yanı sıra, metin temizliği ve makine öğrenme modelleri uygulamak için metinlerin sayısal formata dönüştürülmesi dahil olmak üzere metin analizi için gerekli tüm prosedürler izlenmiştir. Modellemeye geçilmeden önce, müşterilerin ilaçlar hakkında yaptıkları incelemeler için genel duygu puanları elde ettik. Müşterilerin yorumları, en sık kullanılan terimleri keşfetmek için bir çubuk grafiği ve kelime bulutu grafiği kullanılarak özetlendi ve görselleştirildi. 161297 gözlemli eğitim verisinden rastgele 15000 gözlem seçtik ve 53766 gözlemli test verisinden 10000 gözlem rastgele seçildi. Çeşitli makine öğrenme modelleri, tabakalı rastgele örnekleme altında gerçekleştirilen 10 kat çapraz doğrulama kullanılarak eğitildi. Eğitim için kullanılan modeller: Sınıflandırma ve Regresyon Ağaçları (CART), C5.0 algoritması, lojistik regresyon (GLM), Çok Değişkenli Uyarlanabilir Regresyon Eğrileri (MARS), Destek vektör makinesinin (SVM) hem radyal hem de doğrusal çekirdekleri ve Rastgele Orman (Random Forest) algoritmalarıdır. Model seçimi doğruluk ve hesaplama verimliliğinin karşılaştırılması yoluyla yapılmıştır. Lineer çekirdekli destek vektör makinesi (SVM), diğerlerine kıyasla% 83 doğrulukla önemli ölçüde en iyi tahmin sonuçlarını vermiştir. Veri kümesinin sadece küçük bir kısmını kullanarak, TF-IDF dönüşümünü ve Latent Semantik Analiz (LSA) ile TDM'imize uygulayarak modellerimizde makul doğruluk elde etmeyi başardık.

Article Details

Application of Natural Language Processing with Supervised Machine Learning Techniques to Predict the Overall Drugs Performance

Authors:

Pius MARTHIN | Duygu İÇEN

Publisher:

Akademik Bilişim Araştırmaları Derneği

Journal:

AJIT-e: Online Academic Journal of Information Technology 2020 Vol.11 Issue 40, pp.8-23

Document Type:

Article

Publication Date:

5/2020

Document Language:

English

Document ID (Org No.):

2000860174

Frequency:

Quarterly

eISSN:

1309-1581

DOI:

https://doi.org/10.5824/ajite.2020.01.001.x

Terim Belge Matrisi

Makine Öğrenme

Duygu Analizi

Çapraz Doğrulama

Terim Frekansı-Ters belge Frekansı

Gizli Semantik Analiz

Issues

Article Details

Application of Natural Language Processing with Supervised Machine Learning Techniques to Predict the Overall Drugs Performance

Authors: Pius MARTHIN | Duygu İÇEN

Publisher: Akademik Bilişim Araştırmaları Derneği

Journal: AJIT-e: Online Academic Journal of Information Technology 2020 Vol.11 Issue 40, pp.8-23

Document Type: Article

Publication Date: 5/2020

Document Language: English

Document ID (Org No.): 2000860174

Frequency: Quarterly

eISSN: 1309-1581

DOI: https://doi.org/10.5824/ajite.2020.01.001.x

Terim Belge Matrisi

Makine Öğrenme

Duygu Analizi

Çapraz Doğrulama

Terim Frekansı-Ters belge Frekansı

Gizli Semantik Analiz

Issues

Authors:

Pius MARTHIN | Duygu İÇEN

Publisher:

Akademik Bilişim Araştırmaları Derneği

Journal:

AJIT-e: Online Academic Journal of Information Technology 2020 Vol.11 Issue 40, pp.8-23

Document Type:

Article

Publication Date:

5/2020

Document Language:

English

Document ID (Org No.):

2000860174

Frequency:

Quarterly

eISSN:

1309-1581

DOI:

https://doi.org/10.5824/ajite.2020.01.001.x