Real-Time Auditory Scene Analysis using Continual Learning in Real Environments

Barış BAYRAM; Gökhan İNCE

doi:https://doi.org/10.31590/ejosat.779710

Article Details

Real-Time Auditory Scene Analysis using Continual Learning in Real Environments

Authors:

Barış BAYRAM | Gökhan İNCE

Publisher:

Osman SAĞDIÇ

Main Topics:

Applied physics

Journal:

European Journal of Science and Technology 2020 Vol. Issue , pp.215-226

Document Type:

Article

Publication Date:

8/2020

Document Language:

English

Document ID (Org No.):

2000919127

Frequency:

Quarterly

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.779710

Keywords:

Abstract:

 

Continual learning for scene analysis is a continuous process to incrementally learn distinct events, actions, and even noise models from past experiences using different sensory modalities. In this paper, an Auditory Scene Analysis (ASA) approach based on a continual learning system is developed to incrementally learn the acoustic events in a dynamically-changing domestic environment. The events being salient sound sources are localized by a Sound Source Localization (SSL) method to robustly process the signals of the localized sound source in the domestic scene where multiple sources can co-exist. For real-time ASA, audio patterns are segmented from the acoustic signal stream of the localized source for extraction of the audio features, and construction of a feature set for each pattern. The continual learning is employed via a time-series algorithm, Hidden Markov Model (HMM), on these feature sets from acoustic signals stemming from the sources. The learning process is investigated by conducting a variety of experiments to evaluate the performance of Unknown Event Detection (UED), Acoustic Event Recognition (AER), and continual learning using a Hierarchical HMM algorithm. The Hierarchical HMM consists of two layers: 1) a lower layer in which AER is performed using an HMM for each event and the event-wise likelihood thresholds; and 2) an upper layer in which UED is achieved by one HMM with a suspicion threshold through the audio features with their proto symbols stemming from the lower layer HMMs. We verified the effectiveness of the proposed system capable of continual learning, AER and UED in terms of False-Positive Rates, True-Positive Rates, recognition accuracy and computational time to meet the demands in a learning task of multiple events in real-time. The effectiveness of the AER system has been verified with high accuracy, and a short retraining time in real-time ASA having nine different sounds.

 

Artımlı öğrenme ile sahne analizi, farklı duyusal modaliteler kullanarak geçmiş deneyimlerden daha önce bilgi sahibi olunmayan olayları, eylemleri ve hatta gürültü modellerini aşamalı olarak öğrenmek için durmaksızın gerçekleşen bir süreçtir. Bu çalışmada, dinamik olarak değişen gerçek bir ev ortamında akustik olayları aşamalı olarak öğrenmek için artımlı bir öğrenme sistemine dayanan İşitsel Sahne Analizi (ASA) yaklaşımı sunulmuştur. Ortamdaki en baskın ses kaynakları olan olaylar, birden fazla kaynağın bulunduğu işitsel sahnede bu kaynaktan elde edilen sinyalleri verimli ve kesintisiz bir şekilde işlemek için bir Ses Kaynağı Yerelleştirme (SSL) yöntemi ile yer tespiti yapılmaktadır. Gerçek zamanlı sahne analizinde, ses örüntüleri, bu örüntülerden ses özniteliklerin çıkarılması ve öznitelik setinin oluşturulması için bu kaynağın akustik sinyal akışından segmente edilir. Artımlı öğrenme, kaynaklardan elde edilen akustik sinyallerden bu öznitelik kümelerinde zaman serisi algoritması tabanlı olan Gizli Markov Modeli (HMM) kullanılmıştır. Öğrenme süreci, Bilinmeyen Olay Algılama (UED), Akustik Olay Tanıma (AER) ve Hiyerarşik HMM yöntemi kullanarak sürekli öğrenmenin performansını değerlendirmek için çeşitli deneyler yapılarak geliştirilmiştir. Hiyerarşik HMM iki katmandan oluşur: 1) AER'nin her bir olay için HMM ve olay bazlı eşik değerleri kullanılarak gerçekleştirildiği bir alt katman; ve 2) bir ses önitelik seti için ilgili alt katman HMM’inden çıkartılan proto sembolleri ile ses özniteliklerinin birleştirilip bir HMM ile bir şüphe eşk değeri kullanılarak UED’nin gerçeklştirildiği bir üst katman. Artımlı öğrenme, AER ve UED’e sahip bu sistemin, Yanlış-Olumlu Oranlar, Doğru-Olumlu Oranlar, tanıma doğruluğu ve hesaplama süresi gözetilerek birden fazla olayın söz konusu olduğu gerçek zamanlı öğrenme için gereken gereksinimleri karşılayacak seviyede olduğunu doğruladık. AER sisteminin etkinliği, yüksek doğruluk ve dokuz farklı ses içeren gerçek zamanlı ASA'da kısa bir yeniden eğitim süresi ile doğrulanmıştır.

Article Details

Real-Time Auditory Scene Analysis using Continual Learning in Real Environments

Authors:

Barış BAYRAM | Gökhan İNCE

Publisher:

Osman SAĞDIÇ

Main Topics:

Applied physics

Journal:

European Journal of Science and Technology 2020 Vol. Issue , pp.215-226

Document Type:

Article

Publication Date:

8/2020

Document Language:

English

Document ID (Org No.):

2000919127

Frequency:

Quarterly

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.779710

Sürekli öğrenme

işitsel sahne analizi

akustik olay tanıma

bilinmeyen olay algılama

hiyerarşik HMM

Issues

Article Details

Real-Time Auditory Scene Analysis using Continual Learning in Real Environments

Authors: Barış BAYRAM | Gökhan İNCE

Publisher: Osman SAĞDIÇ

Main Topics: Applied physics

Journal: European Journal of Science and Technology 2020 Vol. Issue , pp.215-226

Document Type: Article

Publication Date: 8/2020

Document Language: English

Document ID (Org No.): 2000919127

Frequency: Quarterly

eISSN: 2148-2683

DOI: https://doi.org/10.31590/ejosat.779710

Sürekli öğrenme

işitsel sahne analizi

akustik olay tanıma

bilinmeyen olay algılama

hiyerarşik HMM

Issues

Authors:

Barış BAYRAM | Gökhan İNCE

Publisher:

Osman SAĞDIÇ

Main Topics:

Applied physics

Journal:

European Journal of Science and Technology 2020 Vol. Issue , pp.215-226

Document Type:

Article

Publication Date:

8/2020

Document Language:

English

Document ID (Org No.):

2000919127

Frequency:

Quarterly

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.779710