Table des matières
1 Notions Générales
1.1 Introduction
1.2 Notions d’algorithmes
1.3 Convergence
1.3.1 Vitesse de convergence en quotient
1.3.2 Vitesse de convergence en racine
1.4 Notations et définitions
1.4.1 Définitions et résultats classiques
1.4.2 Quelques résultats importants
1.5 Les méthodes numériques de résolution des systèmes d’équations non linéaires
1.5.1 Méthode de Gauss-Seidel
1.5.2 La méthode des approximations successives
2 Les Fondements de l’optimisation sans contraintes
2.1 Définitions
2.1.1 Principe général de résolution
2.2 Conditions d’optimalité
2.2.1 Le cas différentiable
Conditions nécessaires d’optimalité du premier ordre
Conditions nécessaires d’optimalité du second ordre
Conditions suffisantes d’optimalité du second ordre
2.2.2 Le cas convexe
Caractérisation de la convexité
Conditions suffisantes d’optimalité du premier ordre
2.3 Algorithmes
2.3.1 Existence
2.3.2 La méthode du gradient
Cas de la norme l1
Cas de la norme l2
2.3.3 Étude globale de la convergence
2.3.4 Etude locale de la convergence
3 Recherche linéaire
3.1 Principe général de résolution
3.1.1 Propriétés
3.1.2 Remarques sur le calcul de tk+1
3.2 Recherche linéaire exacte
3.3 Recherche linéaire inexacte
3.3.1 La recherche linéaire de Goldestein
3.3.2 La recherche linéaire d’Armijo
3.3.3 Règle de Wolfe
4 Les Méthodes Newtoniennes
4.1 Définition de l’algorithme
4.1.1 Etude de la convergence
4.2 Algorithme de Newton modifié
4.2.1 Algorithme de Newton tronqué
5 Méthodes Quasi-Newton
5.1 Motivation
5.2 Principes d’obtention des formules de mise à jour
5.2.1 Formules de Correction de rang un (SR1)
5.2.2 Formules de Davidon-Fletcher-Powel (DFP)
5.2.3 Avantages et inconvénients de la méthode DFP
5.2.4 Formules de Broyden-Fletcher-Goldfabr-Shanno (BFGS)
5.3 Etude de la convergence
5.3.1 Motivations
5.4 Tests numériques
Bibliographie