We give a unified account of boosting and logistic regression in which each learning problem is cast in terms of optimization of Bregman distances. The striking similarity of the two problems in this framework allows us to design and analyze algorithms for both simultaneously, and to easily adapt algorithms designed for one problem to the other. For both problems, we give new algorithms and explain their potential advantages over existing methods. These algorithms can be divided into two types based on whether the parameters are iteratively updated sequentially (one at a time) or in parallel (all at once). We also describe a parameterized family of algorithms which interpolates smoothly between these two extremes. For all of the algorithms, we give convergence proofs using a general formalization of the auxiliary-function proof technique. As one of our sequential-update algorithms is equivalent to AdaBoost, this provides the first general proof of convergence for AdaBoost. We show that all of our algorithms generalize easily to the multiclass case, and we contrast the new algorithms with iterative scaling. We conclude with a few experimental results with synthetic data that highlight the behavior of the old and newly proposed algorithms in different settings.

Contents 1 Introduction 3 2 Bayesian theory, entropy, and the Gaussian prior 4 2.1 The Bayesian theory : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 2.2 Entropy and maximum entropy : : : : : : : : : : : : : : : : : : : : : : : : : 6 2.3 The Gaussian prior : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 3 Positivity constraint and Bayesian-type methods 10 3.1 Bayesian direct deconvolution method : : : : : : : : : : : : : : : : : : : : : 10 3.2 Maximum entropy method : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11 3.3 Conclusion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 14 4 Intensity-range constrained methods 14 4.1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 14 4.2 Introduction to duality : : : : : : : : : : : : : :