Music Emotion Recognition with Machine Learning Based on Audio Features

Mehmet Bilal ER; Emin Murat ESİN

doi:https://doi.org/10.53070/bbd.945894

Article Details

Music Emotion Recognition with Machine Learning Based on Audio Features

Authors:

Mehmet Bilal ER | Emin Murat ESİN

Publisher:

Ali KARCI

Main Topics:

Data processing and computer science

Journal:

Computer Science 2021 Vol.6 Issue 3, pp.133-144

Document Type:

Article

Publication Date:

11/2021

Document Language:

English

Document ID (Org No.):

2000895709

Frequency:

Bi-Annual

eISSN:

2548-1304

pISSN:

2548-1304

DOI:

https://doi.org/10.53070/bbd.945894

Keywords:

Abstract:

 

Understanding the emotional impact of music on its audience is a common field of study in many disciplines such as science, psychology, musicology and art. In this study, a method based on acoustic features is proposed to predict the emotion of different samples from Turkish Music. The proposed method consists of 3 steps: preprocessing, feature extraction and classification on selected music pieces. As a first step, the noise in the signals is removed in the pre-process and all the signals in the data set are brought to the equal sampling frequency. In the second step, a 1x34 size feature vector is extracted from each signal, reflecting the emotional content of the music. The features are normalized before the classifiers are trained. In the last step, the data are classified using Support Vector Machines (SVM), K-Nearest Neighbor (K-NN) and Artificial Neural Network (ANN). Accuracy, precision, sensitivity and F-score are used as classification metrics. The model was tested on a new 4-class data set consisting of Turkish music data. 79.30% Accuracy, 78.77% sensitivity, 78.94% specificity and 79.03% F-score are obtained from the proposed model.

 

Müziğin dinleyicileri üzerindeki duygusal etkisini anlamak bilim, psikoloji, müzikoloji ve sanat gibi birçok disiplinin ortak çalışma alanıdır. Bu çalışmada, Türk Müziği'nden farklı örneklerin duygu durumunu tahmin etmek için akustik özelliklere dayalı bir yöntem önerilmiştir. Önerilen yöntem, seçilen müzik parçaları üzerinde ön işleme, özellik çıkarma ve sınıflandırma olmak üzere 3 adımdan oluşmaktadır. İlk adım olarak, ön işlemde sinyallerdeki gürültü giderilir ve veri setindeki tüm sinyaller eşit örnekleme frekansına getirilir. İkinci adımda, müziğin duygusal içeriğini yansıtan her sinyalden 1x34 boyutunda bir öznitelik vektörü çıkarılır. Sınıflandırıcılar eğitilmeden önce öznitelikler normalleştirilir. Son adımda, veriler Destek Vektör Makineleri (SVM), K-En Yakın Komşu (K-NN) ve Yapay Sinir Ağı (YSA) kullanılarak sınıflandırılır. Doğruluk, kesinlik, duyarlılık ve F-skoru sınıflandırma ölçütleri olarak kullanılır. Model, Türk müziği verilerinden oluşan 4 sınıflı yeni bir veri seti üzerinde test edildi. Önerilen modelden %79.30 Doğruluk, %78.77 duyarlılık, %78.94 özgüllük ve %79.03 F skoru elde edilmiştir.

Article Details

Music Emotion Recognition with Machine Learning Based on Audio Features

Authors:

Mehmet Bilal ER | Emin Murat ESİN

Publisher:

Ali KARCI

Main Topics:

Data processing and computer science

Journal:

Computer Science 2021 Vol.6 Issue 3, pp.133-144

Document Type:

Article

Publication Date:

11/2021

Document Language:

English

Document ID (Org No.):

2000895709

Frequency:

Bi-Annual

eISSN:

2548-1304

pISSN:

2548-1304

DOI:

https://doi.org/10.53070/bbd.945894

Müzik duygu tanıma

Akustik özellik çıkarma

SVM

ANN

K-NN

Issues

Article Details

Music Emotion Recognition with Machine Learning Based on Audio Features

Authors: Mehmet Bilal ER | Emin Murat ESİN

Publisher: Ali KARCI

Main Topics: Data processing and computer science

Journal: Computer Science 2021 Vol.6 Issue 3, pp.133-144

Document Type: Article

Publication Date: 11/2021

Document Language: English

Document ID (Org No.): 2000895709

Frequency: Bi-Annual

eISSN: 2548-1304

pISSN: 2548-1304

DOI: https://doi.org/10.53070/bbd.945894

Müzik duygu tanıma

Akustik özellik çıkarma

SVM

ANN

K-NN

Issues

Authors:

Mehmet Bilal ER | Emin Murat ESİN

Publisher:

Ali KARCI

Main Topics:

Data processing and computer science

Journal:

Computer Science 2021 Vol.6 Issue 3, pp.133-144

Document Type:

Article

Publication Date:

11/2021

Document Language:

English

Document ID (Org No.):

2000895709

Frequency:

Bi-Annual

eISSN:

2548-1304

pISSN:

2548-1304

DOI:

https://doi.org/10.53070/bbd.945894