Comparative Analysis of XAI Techniques on Telecom Churn Prediction Using SHAP and Interpreted ML Partial Dependence

Cem Özkurt

Article Details

Comparative Analysis of XAI Techniques on Telecom Churn Prediction Using SHAP and Interpreted ML Partial Dependence

Authors:

Cem Özkurt

Publisher:

Bingol University

Main Topics:

Robotik ve Kodlama

Journal:

Türk Doğa ve Fen Dergisi Vol.14 Issue 2, pp.11-25

Document Type:

Article

Publication Date:

6/2025

Document Language:

English

Document ID (Org No.):

2001352624

pISSN:

2149-6366

Keywords:

Abstract:

 A comparative analysis of two prominent Explainable Artificial Intelligence XAI techniques, SHAP SHapley Additive exPlanations and Interpreted ML Partial Dependence, was conducted on a Telecom Churn dataset. The objective of this study was to evaluate and compare the effectiveness of these techniques in enhancing the transparency and interpretability of machine learning models, specifically in telecom churn prediction. The study emphasizes the importance of XAI in ensuring trust and comprehension in predictive modeling. The methodology outlined the steps of data preprocessing and model training. Two separate analyses using SHAP and Interpreted ML Partial Dependence were conducted to evaluate their effectiveness in explaining model decisions and uncovering feature importance. The results of both techniques were discussed, highlighting their strengths and weaknesses, and providing valuable insights into interpretability and robustness. The SHAP analysis demonstrated that it is a powerful tool for identifying which features influence churn, thereby making it easier to understand why the model made certain predictions. The Interpreted ML Partial Dependence method showed the general effects of features, allowing for a broader perspective on model behavior. These results enhanced the transparency of model decisions, instilling trust in users and helping them understand how the model works. The comparative analysis contributed to understanding XAI methods and emphasized the importance of selecting appropriate techniques to enhance transparency in telecom churn prediction models.

 A comparative analysis of two prominent Explainable Artificial Intelligence XAI techniques, SHAP SHapley Additive exPlanations and Interpreted ML Partial Dependence, was conducted on a Telecom Churn dataset. The objective of this study was to evaluate and compare the effectiveness of these techniques in enhancing the transparency and interpretability of machine learning models, specifically in telecom churn prediction. The study emphasizes the importance of XAI in ensuring trust and comprehension in predictive modeling. The methodology outlined the steps of data preprocessing and model training. Two separate analyses using SHAP and Interpreted ML Partial Dependence were conducted to evaluate their effectiveness in explaining model decisions and uncovering feature importance. The results of both techniques were discussed, highlighting their strengths and weaknesses, and providing valuable insights into interpretability and robustness. The SHAP analysis demonstrated that it is a powerful tool for identifying which features influence churn, thereby making it easier to understand why the model made certain predictions. The Interpreted ML Partial Dependence method showed the general effects of features, allowing for a broader perspective on model behavior. These results enhanced the transparency of model decisions, instilling trust in users and helping them understand how the model works. The comparative analysis contributed to understanding XAI methods and emphasized the importance of selecting appropriate techniques to enhance transparency in telecom churn prediction models.

 A comparative analysis of two prominent Explainable Artificial Intelligence XAI techniques, SHAP SHapley Additive exPlanations and Interpreted ML Partial Dependence, was conducted on a Telecom Churn dataset. The objective of this study was to evaluate and compare the effectiveness of these techniques in enhancing the transparency and interpretability of machine learning models, specifically in telecom churn prediction. The study emphasizes the importance of XAI in ensuring trust and comprehension in predictive modeling. The methodology outlined the steps of data preprocessing and model training. Two separate analyses using SHAP and Interpreted ML Partial Dependence were conducted to evaluate their effectiveness in explaining model decisions and uncovering feature importance. The results of both techniques were discussed, highlighting their strengths and weaknesses, and providing valuable insights into interpretability and robustness. The SHAP analysis demonstrated that it is a powerful tool for identifying which features influence churn, thereby making it easier to understand why the model made certain predictions. The Interpreted ML Partial Dependence method showed the general effects of features, allowing for a broader perspective on model behavior. These results enhanced the transparency of model decisions, instilling trust in users and helping them understand how the model works. The comparative analysis contributed to understanding XAI methods and emphasized the importance of selecting appropriate techniques to enhance transparency in telecom churn prediction models.

 Önde gelen iki Açıklanabilir Yapay Zeka XAI tekniği olan SHAP SHapley Additive exPlanations ve Interpreted ML Kısmi Bağımlılık, 7.043 müşteri kaydından oluşan gerçek bir Telekom Churn veri kümesi üzerinde karşılaştırmalı bir analizle değerlendirildi. Bu çalışmanın amacı, bu tekniklerin makine öğrenimi modellerinin şeffaflığını ve yorumlanabilirliğini artırmadaki etkinliğini, özellikle telekom abonelik iptali churn tahmini bağlamında karşılaştırmaktır. Çalışmada, 94,12 doğruluk oranına ulaşarak diğer makine öğrenimi modellerinden üstün performans gösteren XGBoost modeli kullanılmıştır. Metodoloji kapsamında veri ön işleme ve model eğitimi adımları açıklanmış, SHAP ve Interpreted ML Kısmi Bağımlılık yöntemleriyle yapılan iki ayrı analiz karşılaştırılmıştır. Elde edilen sonuçlar, bu tekniklerin güçlü ve zayıf yönlerini ortaya koyarak model yorumlanabilirliği ve dayanıklılığı hakkında önemli içgörüler sunmuştur. SHAP analizi, Sözleşme Türü Contract, Aylık Ücretler Monthly Charges ve Teknik Destek Tech Support gibi özelliklerin müşteri kaybı üzerindeki etkisini güçlü bir şekilde belirleyerek, modelin belirli tahminlerde bulunma nedenlerini açıklamada etkili bir yöntem olduğunu göstermiştir. Örneğin, SHAP değerleri, kısa vadeli sözleşmelere sahip ve teknik destek hizmeti almayan müşterilerin, 0,6nın üzerinde SHAP etkisine sahip olarak, churn olasılığının önemli ölçüde yüksek olduğunu göstermiştir. Bu detaylı analiz, bireysel müşteri tahminlerini anlamak için kritik bilgiler sağlamıştır. Öte yandan, Interpreted ML Kısmi Bağımlılık yöntemi, Aylık Ücretler ve Abonelik Süresi Tenure gibi değişkenlerin churn olasılığı üzerindeki genel etkilerini göstererek daha geniş bir bakış açısı sunmuştur. Analiz sonuçları, özellikle uzun süreli abonelik süresine sahip müşterilerin daha düşük churn olasılığına sahip olduğunu ortaya koymuştur. Bu çalışmanın temel katkısı, telekom sektörü için SHAP ve Interpreted ML Kısmi Bağımlılık yöntemlerinin karşılaştırmalı bir değerlendirmesini sunarak, yorumlanabilirlik ihtiyaçlarına göre uygun XAI tekniklerinin seçilmesine yönelik yapılandırılmış bir çerçeve sunmasıdır. SHAP, bireysel tahminleri açıklamak için güçlü bir araç sunarken, Kısmi Bağımlılık yöntemi makro düzeyde analizler yapmak ve yüksek seviyeli kararlar almak için faydalıdır. Bu karşılaştırmalı analiz, XAI yöntemlerinin daha iyi anlaşılmasına katkı sağlamakta ve telekom abonelik iptali tahmin modellerinde şeffaflığı artırmak için uygun tekniklerin seçilmesinin önemini vurgulamaktadır.

Article Details

Comparative Analysis of XAI Techniques on Telecom Churn Prediction Using SHAP and Interpreted ML Partial Dependence

Authors:

Cem Özkurt

Publisher:

Bingol University

Main Topics:

Robotik ve Kodlama

Journal:

Türk Doğa ve Fen Dergisi Vol.14 Issue 2, pp.11-25

Document Type:

Article

Publication Date:

6/2025

Document Language:

English

Document ID (Org No.):

2001352624

pISSN:

2149-6366

Explainable Artificial Intelligence

SHAP

Interpreted ML Partial Dependence

Transparency and interpretabilityAçıklanabilir Yapay Zeka

SHAP

Yorumlanabilir ML

Şeffaflık ve Yorumlanabilirlik

Issues

Article Details

Authors: Cem Özkurt

Publisher: Bingol University

Main Topics: Robotik ve Kodlama

Journal: Türk Doğa ve Fen Dergisi Vol.14 Issue 2, pp.11-25

Document Type: Article

Publication Date: 6/2025

Document Language: English

Document ID (Org No.): 2001352624

pISSN: 2149-6366

Issues

Authors:

Cem Özkurt

Publisher:

Bingol University

Main Topics:

Robotik ve Kodlama

Journal:

Türk Doğa ve Fen Dergisi Vol.14 Issue 2, pp.11-25

Document Type:

Article

Publication Date:

6/2025

Document Language:

English

Document ID (Org No.):

2001352624

pISSN:

2149-6366