| 5 | 1/1 | 返回列表 |
| 查看: 1127 | 回復(fù): 3 | |||
| 當(dāng)前只顯示滿足指定條件的回帖,點(diǎn)擊這里查看本話題的所有回帖 | |||
heianzlx銀蟲 (初入文壇)
|
[求助]
BFGS、牛頓法、最速下降法的收斂性問題 已有1人參與
|
||
| 對(duì)于一個(gè)非線性無約束優(yōu)化問題,一般來說(即不清楚該目標(biāo)函數(shù)是否為凸函數(shù)) ,擬牛頓法 是不是比梯度下降法和牛頓法的收斂性要好?能否給出一些相關(guān)的比較的性質(zhì)及其文獻(xiàn)出處?謝謝 |
鐵桿木蟲 (著名寫手)
工程和科學(xué)數(shù)值計(jì)算咨詢
榮譽(yù)版主 (文壇精英)
![]() |
專家經(jīng)驗(yàn): +518 |
鐵蟲 (正式寫手)
| 如果目標(biāo)函數(shù)非凸,這些方法一般只能收斂到局部最優(yōu)點(diǎn)。Newton法的思想是在當(dāng)前點(diǎn)附近的區(qū)域用Tylor二階展開來近似目標(biāo)函數(shù),如 f(xk + dx) ~= f(xk) + gk'dx + 1/2 * dx'Hdx (1), 而最速下降法則用Tylor一階展開近似:f(xk + dx) ~= f(xk) + gk'dx (2), 一般來說牛頓法要比最速下降法快很多, 特別是Hessian方陣H的條件數(shù)(最大特征根比最小特征根)很大時(shí),最速下降法收斂很慢,但牛頓法不受影響,當(dāng)然牛頓法付出的代價(jià)是要儲(chǔ)存并計(jì)算H的逆。quasi-Newton法和BFGS法是為了提高牛頓法的計(jì)算效率對(duì)牛頓的近似處理。具體文獻(xiàn)你可以參考Boyd 2009年的convex optimization. |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 299求調(diào)劑 +6 | 15188958825 2026-03-25 | 6/300 |
|
|---|---|---|---|---|
|
[考研] 0703化學(xué)調(diào)劑,求導(dǎo)師收 +9 | 天天好運(yùn)來上岸?/a> 2026-03-24 | 10/500 |
|
|
[考研] 一志愿北京理工大學(xué)本科211材料工程294求調(diào)劑 +4 | mikasa的圍巾 2026-03-28 | 4/200 |
|
|
[考研] 071000生物學(xué)求調(diào)劑,初試成績(jī)343 +7 | 小小甜面團(tuán) 2026-03-25 | 7/350 |
|
|
[考研] 085602 307分 求調(diào)劑 +7 | 不知道叫什么! 2026-03-26 | 7/350 |
|
|
[考研]
|
孅華 2026-03-22 | 17/850 |
|
|
[考研] 265求調(diào)劑 +8 | 小木蟲085600 2026-03-27 | 8/400 |
|
|
[考研] 0703化學(xué)求調(diào)劑,各位老師看看我!。 +5 | 祁祺祺 2026-03-25 | 5/250 |
|
|
[考研] 266分求材料化工冶金礦業(yè)等專業(yè)的調(diào)劑 +4 | 哇呼哼呼哼 2026-03-26 | 4/200 |
|
|
[考研] 274求調(diào)劑 +17 | 顧九笙要謙虛 2026-03-24 | 23/1150 |
|
|
[考研] 考研化學(xué)308分求調(diào)劑 +10 | 你好明天你好 2026-03-23 | 12/600 |
|
|
[考研]
|
鐘llll 2026-03-26 | 4/200 |
|
|
[考研] 321求調(diào)劑 +6 | Ymlll 2026-03-24 | 6/300 |
|
|
[考研] 085600 材料與化工 329分求調(diào)劑 +9 | Mr. Z 2026-03-25 | 9/450 |
|
|
[考研] 材料與化工304求B區(qū)調(diào)劑 +3 | 邱gl 2026-03-25 | 3/150 |
|
|
[考研] 網(wǎng)絡(luò)空間安全0839招調(diào)劑 +4 | w320357296 2026-03-25 | 6/300 |
|
|
[考研] 340求調(diào)劑 +5 | 話梅糖111 2026-03-24 | 5/250 |
|
|
[考研] 277分求調(diào)劑,跨調(diào)材料 +3 | 考研調(diào)劑lxh 2026-03-24 | 3/150 |
|
|
[論文投稿] 急發(fā)核心期刊論文 +3 | 賢達(dá)問津 2026-03-23 | 5/250 |
|
|
[考研] 070300,一志愿北航320求調(diào)劑 +3 | Jerry0216 2026-03-22 | 5/250 |
|