| 4 | 1/1 | 返回列表 |
| 查看: 1123 | 回復(fù): 3 | |||
heianzlx銀蟲 (初入文壇)
|
[求助]
BFGS、牛頓法、最速下降法的收斂性問題 已有1人參與
|
| 對(duì)于一個(gè)非線性無約束優(yōu)化問題,一般來說(即不清楚該目標(biāo)函數(shù)是否為凸函數(shù)) ,擬牛頓法 是不是比梯度下降法和牛頓法的收斂性要好?能否給出一些相關(guān)的比較的性質(zhì)及其文獻(xiàn)出處?謝謝 |
榮譽(yù)版主 (文壇精英)
![]() |
專家經(jīng)驗(yàn): +518 |
鐵蟲 (正式寫手)
| 如果目標(biāo)函數(shù)非凸,這些方法一般只能收斂到局部最優(yōu)點(diǎn)。Newton法的思想是在當(dāng)前點(diǎn)附近的區(qū)域用Tylor二階展開來近似目標(biāo)函數(shù),如 f(xk + dx) ~= f(xk) + gk'dx + 1/2 * dx'Hdx (1), 而最速下降法則用Tylor一階展開近似:f(xk + dx) ~= f(xk) + gk'dx (2), 一般來說牛頓法要比最速下降法快很多, 特別是Hessian方陣H的條件數(shù)(最大特征根比最小特征根)很大時(shí),最速下降法收斂很慢,但牛頓法不受影響,當(dāng)然牛頓法付出的代價(jià)是要儲(chǔ)存并計(jì)算H的逆。quasi-Newton法和BFGS法是為了提高牛頓法的計(jì)算效率對(duì)牛頓的近似處理。具體文獻(xiàn)你可以參考Boyd 2009年的convex optimization. |
鐵桿木蟲 (著名寫手)
工程和科學(xué)數(shù)值計(jì)算咨詢
| 4 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 一志愿中南大學(xué)化學(xué)0703總分337求調(diào)劑 +5 | niko- 2026-03-27 | 5/250 |
|
|---|---|---|---|---|
|
[考研] 070305高分子化學(xué)與物理 304分求調(diào)劑 +3 | c297914 2026-03-28 | 3/150 |
|
|
[考研] 考研調(diào)劑 +6 | 呼呼?~+123456 2026-03-21 | 6/300 |
|
|
[考研] 349求調(diào)劑 +6 | 杰斯塔里斯 2026-03-21 | 6/300 |
|
|
[考研] 311求調(diào)劑 +9 | lin0039 2026-03-26 | 9/450 |
|
|
[考研] 085404求調(diào)劑,總分309,本科經(jīng)歷較為豐富 +4 | 來財(cái)aa 2026-03-25 | 4/200 |
|
|
[考研] 張芳銘-中國農(nóng)業(yè)大學(xué)-環(huán)境工程專碩-298 +4 | 手機(jī)用戶 2026-03-26 | 4/200 |
|
|
[考研] 086502化學(xué)工程342求調(diào)劑 +6 | 阿姨復(fù)古不過 2026-03-27 | 6/300 |
|
|
[考研] 一志愿上海理工能源動(dòng)力(085800)310分求調(diào)劑 +3 | zhangmingc 2026-03-27 | 4/200 |
|
|
[考研] 材料292調(diào)劑 +12 | 橘頌思美人 2026-03-23 | 12/600 |
|
|
[考研] 316求調(diào)劑 +5 | Pigcasso 2026-03-24 | 5/250 |
|
|
[考研] 298調(diào)劑 +3 | jiyingjie123 2026-03-27 | 3/150 |
|
|
[考研] 351求調(diào)劑 +4 | 麥克阿磊 2026-03-24 | 4/200 |
|
|
[考研] 329求調(diào)劑 +5 | 1() 2026-03-22 | 5/250 |
|
|
[考研] 生物學(xué) 296 求調(diào)劑 +4 | 朵朵- 2026-03-26 | 6/300 |
|
|
[考研] 打過很多競賽,085406控制工程300分,求調(diào)劑 +3 | askeladz 2026-03-26 | 3/150 |
|
|
[考研] 一志愿哈工大,085400,320,求調(diào)劑 +4 | gdlf9999 2026-03-24 | 4/200 |
|
|
[考研] 0854人工智能方向招收調(diào)劑 +4 | 章小魚567 2026-03-24 | 4/200 |
|
|
[考研] 0703化學(xué)調(diào)劑,求導(dǎo)師收 +7 | 天天好運(yùn)來上岸?/a> 2026-03-24 | 7/350 |
|
|
[考研] 化工專碩求調(diào)劑 +3 | question挽風(fēng) 2026-03-24 | 3/150 |
|