Comparison of Different Classification Algorithms for Extraction Information from Invoice Images Using an N-Gram Approach

Resmiye NASİBOGLU; Adem AKDOĞAN

doi:https://doi.org/10.31590/ejosat.844862

Article Details

Comparison of Different Classification Algorithms for Extraction Information from Invoice Images Using an N-Gram Approach

Authors:

Resmiye NASİBOGLU | Adem AKDOĞAN

Publisher:

Osman SAĞDIÇ

Main Topics:

Applied physics

Journal:

European Journal of Science and Technology 2021 Vol. Issue 31, pp.991-1003

Document Type:

Article

Publication Date:

12/2021

Document Language:

English

Document ID (Org No.):

2000916154

Frequency:

Quarterly

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.844862

Keywords:

Abstract:

 

Artificial intelligence (AI) has started to be used in many areas today. One of these areas is the accounting sector. Accounting companies may sometimes be inadequate especially in the face of intense invoicing transactions of large companies. This problem raised the need to process invoices by an Artificial Intelligence powered system. The goal of this work is to determine the best machine learning model to extract information such as invoice number, invoice date, due date, delivery date, total gross, total net, vat amount and IBAN from the invoice image files. Information obtained by the Tesseract Optical Character Recognition (OCR) system has been converted into n-gram format. A number of attributes of the n-gram are calculated such as the coordinates, the length, the width, the line number, the template information of n-grams, the Levenshtein and the Jaro-Winkler distances between the candidate n-grams and the keywords in the control keywords list. The use of the Levenshtein distance between candidate n-grams and the control keywords has resulted in a sufficiently high predictive rate. The most appropriate model and features are determined for the training. Algorithms such as Random Forest, Gradient Boosting Machine, Extreme Gradient Boosting, K-Nearest Neighbors, AdaBoost and Decision Tree were compared as prediction models. A total of 9910 invoices were used by splitting 80% for training and 20% for testing. It was observed that the Random Forest model using the Levenshtein distance is the best model with an average F1 score of 0.9137.

 

Yapay Zeka (AI) günümüzde birçok alanda kullanılmaya başlanmıştır. Bu alanlardan biri de muhasebe sektörüdür. Özellikle büyük firmaların yoğun faturalama işlemleri karşısında muhasebe firmaları bazen yetersiz kalabilmektedir. Bu sorun, faturaların Yapay Zeka destekli bir sistemle işlenmesi ihtiyacını ortaya çıkarmıştır. Bu çalışmanın amacı, fatura görüntü dosyalarından fatura numarası, fatura tarihi, vade bitiş tarihi, teslim tarihi, toplam brüt, toplam net, kdv tutarı ve IBAN gibi bilgileri çıkarmak için en iyi makine öğrenme modelini belirlemektir. Çalışmada, Tesseract Optik Karakter Tanıma sistemi ile elde edilen bilgiler n-gram formatına dönüştürülmüştür. N-gramların koordinatları, uzunluk, genişlik, satır numarası gibi şablon bilgileri, aday n-gramlar ile kontrol anahtar kelimeler listesindeki anahtar kelimeler arasındaki Levenshtein ve Jaro-Winkler mesafeleri gibi bir dizi öznitelikleri hesaplanmıştır. Aday n-gramlar ile kontrol anahtar kelimeler arasındaki Levenshtein mesafesinin kullanılması, yeterince yüksek bir tahmin oranıyla sonuçlanmıştır. Eğitim için en uygun model ve özellikler belirlenmiştir. Tahmin modelleri olarak Rassal Orman (Random Forest), Gradyan Yükseltme Makinesi (Gradient Boosting Machine), Aşırı Gradyan Yükseltme (Extreme Gradient Boosting), K-En Yakın Komşu (K-Nearest Neighbors), AdaBoost ve Karar Ağacı (Decision Tree) gibi algoritmalar karşılaştırılmıştır. Çeşitli firmalardan toplanan 9910 adet fatura, %80’i eğitim ve %20’si test olacak şekilde bölünerek kullanılmıştır. Levenshtein mesafesini kullanan Rassal Orman modelinin ortalama 0,9137 olan F1 puanı ile en iyi model olduğu görülmüştür.

Article Details

Comparison of Different Classification Algorithms for Extraction Information from Invoice Images Using an N-Gram Approach

Authors:

Resmiye NASİBOGLU | Adem AKDOĞAN

Publisher:

Osman SAĞDIÇ

Main Topics:

Applied physics

Journal:

European Journal of Science and Technology 2021 Vol. Issue 31, pp.991-1003

Document Type:

Article

Publication Date:

12/2021

Document Language:

English

Document ID (Org No.):

2000916154

Frequency:

Quarterly

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.844862

Makine öğrenimi

Bilgi çıkarımı

N-gram

Levenshtein uzaklığı

Jaro-Winkler uzaklığı

Issues

Article Details

Comparison of Different Classification Algorithms for Extraction Information from Invoice Images Using an N-Gram Approach

Authors: Resmiye NASİBOGLU | Adem AKDOĞAN

Publisher: Osman SAĞDIÇ

Main Topics: Applied physics

Journal: European Journal of Science and Technology 2021 Vol. Issue 31, pp.991-1003

Document Type: Article

Publication Date: 12/2021

Document Language: English

Document ID (Org No.): 2000916154

Frequency: Quarterly

eISSN: 2148-2683

DOI: https://doi.org/10.31590/ejosat.844862

Makine öğrenimi

Bilgi çıkarımı

N-gram

Levenshtein uzaklığı

Jaro-Winkler uzaklığı

Issues

Authors:

Resmiye NASİBOGLU | Adem AKDOĞAN

Publisher:

Osman SAĞDIÇ

Main Topics:

Applied physics

Journal:

European Journal of Science and Technology 2021 Vol. Issue 31, pp.991-1003

Document Type:

Article

Publication Date:

12/2021

Document Language:

English

Document ID (Org No.):

2000916154

Frequency:

Quarterly

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.844862