Abstract

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61 A.2 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61 A.2.1 Motivation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61 A.3 Optimization strategy : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 62 A.4 The Backpropagation algorithm : : : : : : : : : : : : : : : : : : : : : : : : 63 A.5 Conjugate direction methods : : : : : : : : : : : : : : : : : : : : : : : : : : 63 A.5.1 Conjugate gradients : : : : : : : : : : : : : : : : : : : : : : : : : : 65 A.5.2 The CGL algorithm : : : : : : : : : : : : : : : : : : : : : : : : : : : 67 A.5.3 The BFGS algorithm : : : : : : : : : : : : : : : : : : : : : : : : : : 67 A.6 The SCG algorithm : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 67 A.7 Test results : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 70 A.7.1 Comparison metric : : : : : : : : : : : : : : : : : : : : : : : :...

Citations

3202	Matrix analysis - Horn, Johnson - 1985
2304	Learning Internal Representations by Error Propagation - Rumelhart, Hinton, et al. - 1986
1128	Practical Optimization - Gill, Murray, et al. - 1981
1106	Information Theory and Reliable Communication - Gallager - 1968
968	Tibshirani R: Generalized Additive Models - Hastie
842	Linear and nonlinear programming - Luenberger - 1984
522	Method of conjugate gradients for solving linear systems - Hestenes, Stiefel - 1952
439	Beyond Regression: New Tools for Prediction and Analysis - Werbos
413	Parallel networks that learn to pronounce English text - Sejnowski, Rosenberg - 1987
375	Optimum brain damage - Cun, Denker, et al. - 1990
359	Sampling Techniques - Cochran - 1977
346	A practical Bayesian framework for back-propagation networks - MacKay - 1992
290	Connectionist Learning Procedures - Hinton - 1990
283	Increased rates of convergence through learning rate adaptation - Jacobs
236	Information-Based Objective Functions for Active Data - MacKay - 1992
235	Faster-learning variations on back-propagation: An empirical study - Fahlman - 1988
234	Universal Coding, Information, Prediction, and Estimation - Rissanen - 1984
226	Nonlinear Regression - Seber, Wild - 1989
169	Linear Systems - Kailath - 1980
169	Predicting the future: A connectionist approach,” Int - Weigend, Huberman - 1990
159	The effective number of parameters: an analysis of generalization and regularization in nonlinear learning systems”, in eds - Moody - 1992
148	Second order derivatives for network pruning: Optimal brain surgeon - Hassibi, Stork - 1993
147	An Empirical Comparison of Selection Measures for Decision–Tree Induction - Mingers - 1989
118	Learning to tell two spirals apart - Lang, Witbrock - 1988
108	Second-Order Methods for Learning: Between Steepest Descent and Newton's Method - Battiti, First- - 1992
98	Convergence of the Back-Propagation Method - Vogl, Mangis, et al. - 1988
76	The Mathematical Theory of Communication (University of Illinois - Shannon, Weaver - 1949
74	A generalized conjugate gradient method for the numerical solution of elliptic PDE - Concus, Golub, et al. - 1976
73	and network design strategies - LeCun - 1989
73	Experiments on Learning by BackPropagation - Plaut, Nowlan, et al. - 1986
63	Learning logic - Parker - 1982
51	Backpropagation learning for multilayer feed-forward neural networks using the conjugate gradient method - Johansson, Dowla, et al. - 1992
50	Learning algorithms for connectionist networks: Applied gradient methods for nonlinear optimization - Watrous - 1987
49	Supersab: fast adaptive backpropagation with good scaling properties - tollenaere - 1990
47	A Novel Objective Function for Improved Phoneme Recognition Using Time-Delay Neural Networks - Hampshire, Waibel - 1990
44	A probabilistic approach to the understanding and training ofneural network classifiers - GISH - 1990
44	A scaled conjugate gradient algorithm for fast supervised learning - Mller - 1993
40	Exact calculation of the hessian matrix for the multilayer perceptron - Bishop - 1992
39	Efficient parallel learning algorithms for neural networks - Kramer, Sangiovanni-Vincentelli - 1989
36	Accelerated backpropagation learning: Two optimization methods - Battiti - 1989
36	Learning rate schedules for faster stochastic gradient search - Darken, Chang, et al. - 1992
36	Scaling relationships in back-propagation learning: Dependence on training set size - Tesauro - 1987
34	Theory of optimal experiments - Federov - 1972
34	Acceleration techniques for the backpropagation algorithm - Silva, Almeida - 1990
33	Conjugate gradient type methods for unsymmetric and inconsistent systems of linear equations - Axelsson - 1980
30	Eigenvalues of covariance matrices: Application to neural-network learning - Cun, Kanter, et al. - 1991
28	A First Course - Ralston, Rabinowitz - 1978
28	Neural network classification: a Bayesian interpretation - Wan - 1990
23	On a successive transformation of probability distribution and its application to the analysis of the optimum gradient method - Akaike - 1959
22	Automatic learning rate maximization by on–line estimation of the Hessian’s eigenvectors - Cun, Simard, et al.