| 5 | 1/1 | 返回列表 |
| 查看: 1124 | 回復(fù): 3 | |||
| 當(dāng)前只顯示滿足指定條件的回帖,點(diǎn)擊這里查看本話題的所有回帖 | |||
heianzlx銀蟲 (初入文壇)
|
[求助]
BFGS、牛頓法、最速下降法的收斂性問題 已有1人參與
|
||
| 對于一個非線性無約束優(yōu)化問題,一般來說(即不清楚該目標(biāo)函數(shù)是否為凸函數(shù)) ,擬牛頓法 是不是比梯度下降法和牛頓法的收斂性要好?能否給出一些相關(guān)的比較的性質(zhì)及其文獻(xiàn)出處?謝謝 |
鐵蟲 (正式寫手)
| 如果目標(biāo)函數(shù)非凸,這些方法一般只能收斂到局部最優(yōu)點(diǎn)。Newton法的思想是在當(dāng)前點(diǎn)附近的區(qū)域用Tylor二階展開來近似目標(biāo)函數(shù),如 f(xk + dx) ~= f(xk) + gk'dx + 1/2 * dx'Hdx (1), 而最速下降法則用Tylor一階展開近似:f(xk + dx) ~= f(xk) + gk'dx (2), 一般來說牛頓法要比最速下降法快很多, 特別是Hessian方陣H的條件數(shù)(最大特征根比最小特征根)很大時,最速下降法收斂很慢,但牛頓法不受影響,當(dāng)然牛頓法付出的代價是要儲存并計算H的逆。quasi-Newton法和BFGS法是為了提高牛頓法的計算效率對牛頓的近似處理。具體文獻(xiàn)你可以參考Boyd 2009年的convex optimization. |
榮譽(yù)版主 (文壇精英)
![]() |
專家經(jīng)驗: +518 |
鐵桿木蟲 (著名寫手)
工程和科學(xué)數(shù)值計算咨詢
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 317分 一志愿南理工材料工程 本科湖工大 求調(diào)劑 +6 | 芋泥小鈴鐺 2026-03-28 | 6/300 |
|
|---|---|---|---|---|
|
[考研] 329求調(diào)劑 +6 | 星野? 2026-03-26 | 6/300 |
|
|
[考研] 0703化學(xué)求調(diào)劑 +9 | 奶油草莓. 2026-03-22 | 10/500 |
|
|
[材料工程] 一志愿C9材料與化工專業(yè)總分300求調(diào)劑 +8 | 曼111 2026-03-24 | 9/450 |
|
|
[考研] 0703化學(xué)求調(diào)劑,各位老師看看我。! +5 | 祁祺祺 2026-03-25 | 5/250 |
|
|
[考研] 07化學(xué)280分求調(diào)劑 +10 | 722865 2026-03-23 | 10/500 |
|
|
[考研] 安徽大學(xué)專碩生物與醫(yī)藥專業(yè)(086000)324分,英語已過四六級,六級521,求調(diào)劑 +4 | 美味可樂雞翅 2026-03-26 | 4/200 |
|
|
[考研] 考研調(diào)劑 +10 | 呼呼?~+123456 2026-03-24 | 10/500 |
|
|
[考研] 求調(diào)劑 +3 | 劉柯@ 2026-03-24 | 4/200 |
|
|
[考研] 一志愿吉大071010,316分求調(diào)劑 +3 | xgbiknn 2026-03-27 | 3/150 |
|
|
[考研] 一志愿陜師大生物學(xué)071000,298分,求調(diào)劑 +5 | SYA! 2026-03-23 | 5/250 |
|
|
[考研] 317求調(diào)劑 +7 | 蛋黃咸肉粽 2026-03-26 | 7/350 |
|
|
[考研] 329求調(diào)劑 +5 | 1() 2026-03-22 | 5/250 |
|
|
[考研] 環(huán)境專碩324分求調(diào)劑推薦 +5 | 軒小寧—— 2026-03-26 | 5/250 |
|
|
[考研] 332求調(diào)劑 +6 | 032500 2026-03-25 | 6/300 |
|
|
[考研] 318求調(diào)劑 +5 | plum李子 2026-03-21 | 8/400 |
|
|
[考研] 080500求調(diào)劑 +3 | zzzzfan 2026-03-24 | 3/150 |
|
|
[考研] 341求調(diào)劑(一志愿湖南大學(xué)070300) +5 | 番茄頭--- 2026-03-22 | 6/300 |
|
|
[考研] 求老師收我 +3 | zzh16938784 2026-03-23 | 3/150 |
|
|
[考研] 293求調(diào)劑 +3 | 濤濤Wjt 2026-03-22 | 5/250 |
|