The Impact of Irrationals on the Range of Arctan Activation Function for Deep Learning Models
| dc.authorid | 0000-0003-1813-5539 | |
| dc.authorid | 0000-0003-3241-6812 | |
| dc.authorid | 0000-0002-3056-1226 | |
| dc.contributor.author | Tümer Sivri, Talya | |
| dc.contributor.author | Pervan Akman, Nergis | |
| dc.contributor.author | Berkol, Ali | |
| dc.date.accessioned | 2025-02-17T08:56:10Z | |
| dc.date.available | 2025-02-17T08:56:10Z | |
| dc.date.issued | 2024 | |
| dc.department | İstanbul Gelişim Üniversitesi | |
| dc.description.abstract | Deep learning has been applied in numerous areas, significantly impacting applications that address real-life challenges. Its success across a wide range of domains is partly attributed to activation functions, which introduce non-linearity into neural networks, enabling them to effectively model complex relationships in data. Activation functions remain a key area of focus for artificial intelligence researchers aiming to enhance neural network performance. This paper comprehensively explains and compares various activation functions, particularly emphasizing the arc tangent and its specific variations. The primary focus is on evaluating the impact of these activation functions in two different contexts: a multiclass classification problem applied to the Reuters Newswire dataset and a time-series prediction problem involving the energy trade value of Türkiye. Experimental results demonstrate that variations of the arc tangent function, leveraging irrational numbers such as π (pi), the golden ratio (ϕ), Euler number (e), and a self-arctan formulation, yield promising outcomes. The findings suggest that different variations perform optimally for specific tasks: arctan ϕ achieves superior results in multiclass classification problems, while arctan e is more effective in time-series prediction challenges. | |
| dc.description.abstract | Gerçek hayattaki çözümü zorlu uygulamalarda, derin öğrenme modelleri birçok alanda önemli başarı sergilemiştir. Bu başarının önemli bir kısmını, sinir ağlarındaki doğrusal olmayan yapılar aracılığı ile verideki karmaşık ilişkileri etkili bir şekilde modellemelerini sağlayan aktivasyon fonksiyonlarına dayanmaktadır. Aktivasyon fonksiyonları, sinir ağlarının performansını artırmayı hedefleyen yapay zeka araştırmacıları için hala önemli bir odak alanıdır. Bu makale, özellikle arktanjant ve onun belirli varyasyonlarına vurgu yaparak çeşitli aktivasyon fonksiyonlarını kapsamlı bir şekilde açıklamakta ve karşılaştırmaktadır. Ana odak noktası, bu aktivasyon fonksiyonlarının iki farklı bağlamdaki etkilerinin değerlendirilmesidir: Reuters Newswire veri kümesine uygulanan çok sınıflı sınıflandırma problemi ve Türkiye'nin enerji ticaret değerini içeren bir zaman serisi tahmini problemidir. Deneysel sonuçlar, π (pi), altın oran (ϕ), Euler sayısı (e) gibi irrasyonel sayıları ve yeni formüle edilmiş kendine ark tanjant formülasyonunu kullanan arktanjant fonksiyonu varyasyonlarının dikkate değer sonuçlar verdiğini göstermektedir.Bulgular, farklı varyasyonların belirli görevler için en iyi performansı sergilediğini öne sürmektedir: arctan ϕ çok sınıflı sınıflandırma problemlerinde üstün sonuçlar elde ederken, arctan e zaman serisi tahmini problemlerinde daha etkili olmaktadır. | |
| dc.identifier.citation | Tümer Sivri, T., Pervan Akman, N., & Berkol, A. (2025). The Impact of Irrationals on the Range of Arctan Activation Function for Deep Learning Models. International Journal of Engineering Technologies IJET, 9(3), 89-101. https://doi.org/10.19072/ijet.1394093 | |
| dc.identifier.doi | https://doi.org/10.19072/ijet.1394093 | |
| dc.identifier.endpage | 101 | |
| dc.identifier.issn | 2149-0104 | |
| dc.identifier.issn | 2149-5262 | |
| dc.identifier.issue | 3 | |
| dc.identifier.startpage | 89 | |
| dc.identifier.uri | https://hdl.handle.net/11363/9480 | |
| dc.identifier.volume | 9 | |
| dc.indekslendigikaynak | TR-Dizin | |
| dc.language.iso | en | |
| dc.publisher | İstanbul Gelişim Üniversitesi Yayınları / Istanbul Gelisim University Press | |
| dc.relation.publicationcategory | Makale - Ulusal Hakemli Dergi - Başka Kurum Yazarı | |
| dc.rights | info:eu-repo/semantics/openAccess | |
| dc.subject | Deep neural networks | |
| dc.subject | Activation functions | |
| dc.subject | Multiclass classification | |
| dc.subject | Time-Series prediction | |
| dc.subject | Reuters data | |
| dc.subject | Energy trade value data | |
| dc.subject | Derin sinir ağları | |
| dc.subject | Aktivasyon fonksiyonları | |
| dc.subject | Çok sınıflı sınıflandırma | |
| dc.subject | Zaman serisi tahmini | |
| dc.subject | Reuters verisi | |
| dc.subject | Enerji ticaret değeri verisi | |
| dc.title | The Impact of Irrationals on the Range of Arctan Activation Function for Deep Learning Models | |
| dc.title.alternative | Derin Öğrenme Modelleri için İrrasyonellerin Arctan Aktivasyon Fonksiyonunun Aralığı Üzerindeki Etkisi | |
| dc.type | Article |
