The Effect of Hidden Neurons in Single-Hidden Layer Feedforward Neural Networks

Ender SEVİNÇ

doi:https://doi.org/10.17671/gazibtd.465886

Article Details

The Effect of Hidden Neurons in Single-Hidden Layer Feedforward Neural Networks

Authors:

Ender SEVİNÇ

Publisher:

Gazi University

Main Topics:

Data processing and computer science

Journal:

Journal of Information Technologies 2019 Vol.12 Issue 4, pp.277-286

Document Type:

Article

Publication Date:

10/2019

Document Language:

English

Document ID (Org No.):

2000902527

Frequency:

Quarterly

eISSN:

2147-0715

pISSN:

1307-9697

DOI:

https://doi.org/10.17671/gazibtd.465886

Keywords:

Abstract:

 


Especially in the last decade, Artificial Intelligence is gaining popularity increasingly since deep learning and neural networks have fast and powerful machine learning-based techniques that can solve many real-time problems efficiently. In this study, Extreme Learning Machine (ELM), capable of high and fast learning is used for optimization parameters of Single hidden Layer Feedforward Neural networks (SLFN)s. The learning capability of such systems is directly related to the effectiveness of the parameters and the calculation methods. Hidden neurons number, one of the parameters in the calculations is discussed and its role is examined. The importance of the appropriate selection of this value will not only be emphasized but also a new method will be proposed for proper selection. The proposed method, Normalized Average Value (NAV) is a simple and effective formulation that originates from statistical methods in this field. Experimental results for determining a correct number of hidden neurons (L) show that random selection of this number causes either overfitting or under fitting problems. NAV can improve any algorithm in order to reach better learning rates. The results show that it provides a 10-15% performance increase due to random selection if the number of hidden neurons, L is determined according to the result of the study.

.

 

Son on yılda Yapay Zeka, derin öğrenme ve sinir ağlarının gerçek zamanlı birçok problemi inanılmaz derecede hızla çözebilen güçlü makine öğrenmesi teknikleri kullanmaları, bu konuya giderek artan bir popülerlik kazandırmaktadır. Bu çalışmada, İleri Beslemeli Sinir Ağları’nda kullanılan parametrelerin iyileştirilmesi için hızlı öğrenme yeteneğine sahip Olağanüstü Öğrenme Makinaları (OÖM) kullanılmaktadır. Bu tür sistemlerin öğrenme kapasitesi, parametrelerin ve hesaplama yöntemlerinin etkinliği ile doğrudan ilişkilidir. Burada kullanılan parametrelerinden biri olan gizli nöron sayısı tartışılacak ve değişik durumlardaki performansı incelenecektir. Bu değerin uygun seçiminin önemini vurgulanacak ve uygun seçim için yeni bir yöntem önerilecektir. Önerilen yöntem, Normalize Ortalama Değer (NOD) bu alandaki istatistiki metotları temel alan basit ve etkili bir formülasyondur. Doğru gizli nöron sayısı (L) değerini belirlemeye yönelik yapılan deneysel sonuçlar, L'nin rastgele seçilmesinin, aşırı ya da yetersiz uyum gibi problemlere neden olabileceğini göstermektedir. NOD daha iyi öğrenme seviyelerine erişme imkanı sağlamaktadır. Deneysel sonuçlar, gizli nöronların sayısı belirlenmesi durumunda, %10-15'lik bir performans artışı sağlandığını göstermektedir.

Article Details

The Effect of Hidden Neurons in Single-Hidden Layer Feedforward Neural Networks

Authors:

Ender SEVİNÇ

Publisher:

Gazi University

Main Topics:

Data processing and computer science

Journal:

Journal of Information Technologies 2019 Vol.12 Issue 4, pp.277-286

Document Type:

Article

Publication Date:

10/2019

Document Language:

English

Document ID (Org No.):

2000902527

Frequency:

Quarterly

eISSN:

2147-0715

pISSN:

1307-9697

DOI:

https://doi.org/10.17671/gazibtd.465886

Yapay Zeka

İleri Beslemeli Sinir Ağları

OÖM

girdi seçimi

Issues

Article Details

The Effect of Hidden Neurons in Single-Hidden Layer Feedforward Neural Networks

Authors: Ender SEVİNÇ

Publisher: Gazi University

Main Topics: Data processing and computer science

Journal: Journal of Information Technologies 2019 Vol.12 Issue 4, pp.277-286

Document Type: Article

Publication Date: 10/2019

Document Language: English

Document ID (Org No.): 2000902527

Frequency: Quarterly

eISSN: 2147-0715

pISSN: 1307-9697

DOI: https://doi.org/10.17671/gazibtd.465886

Yapay Zeka

İleri Beslemeli Sinir Ağları

OÖM

girdi seçimi

Issues

Authors:

Ender SEVİNÇ

Publisher:

Gazi University

Main Topics:

Data processing and computer science

Journal:

Journal of Information Technologies 2019 Vol.12 Issue 4, pp.277-286

Document Type:

Article

Publication Date:

10/2019

Document Language:

English

Document ID (Org No.):

2000902527

Frequency:

Quarterly

eISSN:

2147-0715

pISSN:

1307-9697

DOI:

https://doi.org/10.17671/gazibtd.465886