L’interrelation entre les algorithmes de gradient conjugué et ceux de Newton

Abstract

Les algorithmes du gradient conjugué et de Newton sont très fiables, avec des résultats théoriques bien établis et une excellente expérience numérique. Cependant, la relation entre eux n'a pas été pleinement explorée, et il n'y a pas eu de progrès significatif dans la conception d'algorithmes efficaces et robustes pour des problèmes à grande taille, utilisant les concepts de ces deux classes d'algorithmes. Ainsi, l'objectif de cette thèse est de traiter la problématique ‘’l’interrelation entre les algorithmes du gradient conjugué et ceux de Newton’’ Afin d'y apporter une réponse, même partielle, nous étudions comment ces deux algorithmes peuvent s'influencer et se compléter mutuellement pour améliorer les performances d'optimisation. Pour ce faire, nous développons trois méthodes du gradient conjugué en se basant sur la direction de Newton et l'équation de la sécante. L'idée est de conserver les avantages des algorithmes de gradient conjugué, tout en incorporant certaines propriétés bénéfiques de la méthode de Newton, sans l'évaluation directe de la matrice Hessienne. Nous étudions également la convergence globale de nos méthodes et nous montrons leur efficacité, en les comparants numériquement à d'autres méthodes efficaces. De plus, Nous développons un test numérique pour évaluer si nos trois algorithmes approchent numériquement la convergence quadratique observé dans la méthode de Newton.