从2020年3月份到现在，一年的时间里断断续续自学最优化，结合豆瓣读书、知乎等网站上的推荐，翻阅了以下书和课程：

Stephen Boyd和Lieven Vandenberghe的《Convex Optimization》，这本书被公认为学习凸优化的必读经典著作，其中大量的篇幅讲应用，讲理论和算法的篇幅稍少一些。在B网站上有Boyd的视频课程，油管上也有，不过只有英文字幕，如果是零基础接触，直接看Boyd的视频稍显费劲，B站上也有凌青老师以《Convex Optimization》为教材的讲解，推荐作为入门观看；
Jorge Nocedal和Stephen J. Wright的《Numerical Optimization》，这本书更多地介绍最优化算法，在算法层面和《Convex Optimization》正好形成互补；
B站上崔雪婷老师的最优化课程（貌似是因为疫情原因录制的），综合了《Convex Optimization》、《Numerical Optimization》等教材的内容，推导非常详细，推荐观看，崔老师自己也写了一本书《最优化基础理论与方法》，书很薄，适合快速入门（貌似B站上的视频已经被删掉了）。
关于最优化的书和课程非常多，其他书和课程包括但不限于：

Dimitri P. Bertsekas的《Nonlinear Programming》（作者比较苦口婆心，内容详尽）
Yurii Nesterov的《Lectures On Convex Optimization》，被誉为思路很巧妙，不过目前没有细读，所以也没有体会到
Aharon Ben-Taly和Arkadi Nemirovski的《Lectures On Modern Convex Optimization》，主要作为课程的配套讲义
B站上方述诚老师的非线性规划课（只有讲义，没有对应的教材，方述诚老师另有关于线性锥优化方面的专著）
David G. Luenberger和Yinyu Ye的《Linear and Nonlinear Programming》
Mokhtar S. Bazaraa，Hanif D. Sherali和C. M. Shetty的《Nonlinear Programming Theory and Algorithms》
袁亚湘和孙文瑜的《最优化理论与方法》，毕竟是院士的著作，国产为数不多的关于最优化的好书
侧重于应用方面的有：

Andreas Antoniou和Wu-Sheng Lu的《Practical Optimization: Algorithms and Engineering Applications》，侧重介绍具有工程实用性的算法
Lorenz T. Biegler的《Nonlinear programming: Concepts, Algorithms, and Applications to Chemical Processes》，虽然书中是以化工过程的优化举例，但是也同样适用于其他动态优化（或者最优控制）问题
值得一提的是，最优化和控制学科里面的最优控制联系紧密，是最优控制中直接法的数学理论基石，除了上述Lorenz T. Biegler的著作涉及最优控制外，侧重于最优控制求解的还有：

John T. Betts的《Practical methods for optimal control and estimation using nonlinear programming》
S´ebastien Gros和Moritz Diehl的《Numerical Optimal Control》（与课程对应的讲义，科学上网可以看到视频，可惜没有配套字幕）。
个人觉得，上述这些著作全部看完不必要也不现实，应该先选择1至2本入门，然后根据自己的研究需要选读。

扯完前面的废话，谈谈拟牛顿法，主要参考《Numerical Optimization》中的内容，根据第3章的描述，拟牛顿法最开始主要用于克服牛顿法计算无约束优化问题中的搜索方向的不足（有无约束和拟牛顿的思想没有太大关系）。以线搜索为例（对于信赖域法类似），我们想要