Neural networks with periodic and monotonic activation functions: a comparative study in classification problems
Visualitza/Obre
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/85060
Tipus de documentReport de recerca
Data publicació2000-02
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
This article discusses a number of reasons why the use of
non-monotonic functions as activation functions can lead to a marked
improvement in the performance of a neural network. Using a wide range
of benchmarks we show that a multilayer feed-forward network using
sine activation functions (and an appropriate choice of initial
parameters) learns much faster than one incorporating sigmoid
functions - as much as 150-500 times faster - when both types are
trained with backpropagation. Learning speed also compares favorably
with speeds reported using modified versions of the backpropagation
algorithm. In addition, computational and generalization capacity
increases.
CitacióRomero, E., Sopena, J., Alquézar, R., Moliner, J. "Neural networks with periodic and monotonic activation functions: a comparative study in classification problems". 2000.
Forma partLSI-00-12-R
Col·leccions
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
R05-39.ps | 829,7Kb | Postscript | Visualitza/Obre |