 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 5 | 1/1 | 返回列表 |
| 查看: 2190 | 回復(fù): 4 | ||||
| 當(dāng)前只顯示滿足指定條件的回帖，點(diǎn)擊這里查看本話題的所有回帖 | ||||
taochn鐵桿木蟲 (著名寫手)
|
[交流]
[轉(zhuǎn)自：科學(xué)網(wǎng)]NSF開創(chuàng)新的基金評(píng)審方法 已有4人參與
|
|||
|
基金評(píng)審方法采用同行評(píng)價(jià)，但由于需要申請(qǐng)人回避參與同一領(lǐng)域的評(píng)價(jià)，必然導(dǎo)致參與評(píng)審的真正同行數(shù)量的減少。尤其是一些相對(duì)冷門的專業(yè)，這種申請(qǐng)人回避制度必然導(dǎo)致外行評(píng)價(jià)內(nèi)行的結(jié)局。如何克服這一缺陷，美國(guó)科學(xué)基金(NSF)最近嘗試了一種新的基金評(píng)審方案，可能會(huì)成為將來(lái)基金評(píng)審方法的典范。 NSF最近嘗試的這種新的基金評(píng)審方案，就是強(qiáng)制所有競(jìng)爭(zhēng)者必須完成評(píng)價(jià)競(jìng)爭(zhēng)者7份申請(qǐng)書，這一方案完全不同于過去的申請(qǐng)人回避制度，通過精密設(shè)計(jì)和實(shí)際運(yùn)行，發(fā)現(xiàn)這種方案取得不可思議的效果。這應(yīng)該成為我們基金管理部門和管理者認(rèn)真學(xué)習(xí)的一種好方法。 申請(qǐng)人不能作為同類項(xiàng)目的評(píng)審人，是基金申請(qǐng)過程中經(jīng)常采用的回避制度。32年擔(dān)任作為NSF項(xiàng)目主管George Hazelrigg對(duì)這個(gè)規(guī)則非常熟悉。去年，Hazelrigg得到許可檢驗(yàn)這個(gè)規(guī)則。隨著申請(qǐng)數(shù)量增加，資助比例下降，基金管理人員和評(píng)審人的壓力越來(lái)越大，為了緩解這種壓力，Hazelrigg組織了一次實(shí)驗(yàn)。他反其道而行之，不僅讓申請(qǐng)人作為評(píng)審人，而且要求他們必須評(píng)審7份申請(qǐng)才能獲得自己申請(qǐng)書被評(píng)審的條件。這聽上去有點(diǎn)不靠譜。但是工程領(lǐng)域的科學(xué)家對(duì)此保持樂觀，10月1日前提交的申請(qǐng)書超過過去的60%。初步評(píng)估結(jié)果表明，采用通訊評(píng)審取代過去的會(huì)議評(píng)審，不僅可以節(jié)省時(shí)間和開支，而且能提高評(píng)審質(zhì)量。 NSF現(xiàn)在考慮推廣這種評(píng)審方法。天文學(xué)也采用了這種方法，雙子星天文臺(tái)將采用同樣的評(píng)審方法，決定如何分配夏威夷島天文望遠(yuǎn)鏡使用時(shí)間分配方案。夏威夷島天文望遠(yuǎn)鏡總協(xié)調(diào)人Rachel Mason說，尋找理想評(píng)審人是花費(fèi)時(shí)間，正變得越來(lái)越困難。這種方式是一次重大轉(zhuǎn)變，科學(xué)家會(huì)發(fā)現(xiàn)有機(jī)會(huì)閱讀競(jìng)爭(zhēng)者申請(qǐng)書是一件快樂的事情。 基金管理人員非常熟悉傳統(tǒng)基金評(píng)審過程存在的尷尬。原來(lái)的系統(tǒng)依靠評(píng)審人的個(gè)人意愿，而且受到評(píng)審人空余時(shí)間的限制，隨著申請(qǐng)書數(shù)量的增加，資助比例下降，潛在符合資格的評(píng)審人必然越來(lái)越少，使這種矛盾越來(lái)越突出。例如NSF去年收到49000份申請(qǐng)書，比2001年增加53%，但是經(jīng)費(fèi)總額并沒有成比例增加。意味著資助比例從31%降低到22%。 這一變化帶來(lái)的突出問題，評(píng)審經(jīng)費(fèi)和評(píng)審人時(shí)間支出雙雙增加，這已經(jīng)引起評(píng)審人的抱怨。因?yàn)閺恼w上，這些科學(xué)家付出增加，但是獲得資助的幾率下降。 為了克服這一困局，Hazelrigg最容易采用的一個(gè)手段是限制申請(qǐng)規(guī)模，這顯然也不是理想辦法，他也不想采用。2009年Astronomy & Geophysics一篇文章“Telescope time without tears: a distributed approach to peer review.”給Hazelrigg帶來(lái)靈感。 文章共同作者英國(guó)諾丁漢大學(xué)天文學(xué)家Michael Merrifield說，使用歐洲南方天文臺(tái)的申請(qǐng)書113項(xiàng)一下放在他桌面上，他根本沒有那么多時(shí)間仔細(xì)閱讀，這種蹩腳評(píng)審方法到了不改不行時(shí)候了。 于是Merrifield和加州大學(xué)數(shù)學(xué)家Donald Saari聯(lián)合研究一種新的評(píng)審系統(tǒng)。Donald Saari是研究表決系統(tǒng)的專家，他建議Merrifield了解一種激進(jìn)選擇radical alternative的思路。該思路依據(jù)數(shù)學(xué)游戲原理，讓競(jìng)爭(zhēng)者接近實(shí)現(xiàn)目標(biāo)的規(guī)則方式。NSF的例子中，根據(jù)貢獻(xiàn)度大小分配申請(qǐng)資格能激勵(lì)申請(qǐng)者更好完成評(píng)審工作，NSF發(fā)布申請(qǐng)指南中，要求申請(qǐng)者必須承諾評(píng)審7份競(jìng)爭(zhēng)者申請(qǐng)書的任務(wù)才有資格申請(qǐng)。除相互評(píng)審?fù)猓褂肗SF5分制評(píng)價(jià)系統(tǒng)對(duì)申請(qǐng)書進(jìn)行分級(jí)評(píng)價(jià)，同時(shí)也要對(duì)7份申請(qǐng)書從好到壞進(jìn)行排序。Hazelrigg說選擇7份評(píng)審任務(wù)能有效限制那些無(wú)聊申請(qǐng)人，因?yàn)樗麄兲峤蝗魏紊暾?qǐng)都必須付出評(píng)價(jià)7份評(píng)審任務(wù)的代價(jià)。同時(shí)，這些科學(xué)家在評(píng)審過程中也會(huì)非常慎重，隨意評(píng)審會(huì)導(dǎo)致不公平的結(jié)果，逼迫他們選擇公平評(píng)價(jià)標(biāo)準(zhǔn)。 Hazelrigg說他們用了一年獲得批準(zhǔn)這一試驗(yàn)。2013年5月通過一封信告訴所有可能的申請(qǐng)人。每個(gè)在10月份提交申請(qǐng)書的申請(qǐng)人必須無(wú)條件接受這個(gè)方案。如果堅(jiān)持不同意這個(gè)方案的申請(qǐng)人可以在2014年2月前提交申請(qǐng)書。 結(jié)果申請(qǐng)人對(duì)這個(gè)模式非常認(rèn)同，NSF最終接受到131份申請(qǐng)，比過去平均超過50份。 布萊克斯堡大學(xué)生物工程學(xué)家Rolf Mueller是申請(qǐng)人之一，他說參加這個(gè)實(shí)驗(yàn)不需要猶豫。他知道提交申請(qǐng)需要同意參加評(píng)審。閱讀其他競(jìng)爭(zhēng)者的申請(qǐng)書是非常有意思的。南佛羅里達(dá)大學(xué)電子工程學(xué)家Arash Takshi也參與了申請(qǐng)，他說閱讀別人的申請(qǐng)書讓他學(xué)習(xí)到東西，申請(qǐng)人通過閱讀競(jìng)爭(zhēng)者的申請(qǐng)書可清楚知道自己無(wú)法被資助的原因是自己的申請(qǐng)書質(zhì)量不過關(guān)，而不是別的原因。Takshi說自己花費(fèi)30個(gè)小時(shí)閱讀7份申請(qǐng)書。 NSF的官方說法是他們的試驗(yàn)非常成功。每個(gè)申請(qǐng)書都收到7份以上的高質(zhì)量評(píng)價(jià)意見，過去的方法只能獲得3-4份這樣的意見。Hazelrigg強(qiáng)調(diào)，每個(gè)評(píng)價(jià)意見都比較全面，評(píng)價(jià)質(zhì)量雖然不能按照這個(gè)為標(biāo)準(zhǔn)，但是評(píng)價(jià)更為客觀真實(shí)。通過對(duì)60%申請(qǐng)人的評(píng)審過程進(jìn)行分析，發(fā)現(xiàn)只有一位沒有按照在6周期限內(nèi)提交評(píng)價(jià)意見。 出處：http://blog.sciencenet.cn/blog-41174-812666.html |
回復(fù)此樓» 收錄本帖的淘帖專輯推薦
 film |
» 猜你喜歡
291求調(diào)劑
已經(jīng)有6人回復(fù)
-
309求調(diào)劑
已經(jīng)有7人回復(fù)
-
085601材料工程找調(diào)劑
已經(jīng)有10人回復(fù)
-
297求調(diào)劑
已經(jīng)有11人回復(fù)
-
一志愿南航 335分 | 0856 | GPA 4.07 | 有科研經(jīng)歷
已經(jīng)有6人回復(fù)
-
070305高分子化學(xué)與物理 304分求調(diào)劑
已經(jīng)有11人回復(fù)
-
環(huán)境工程 085701，267求調(diào)劑
已經(jīng)有3人回復(fù)
-
一志愿鄭州大學(xué)，080500學(xué)碩，總分317分求調(diào)劑
已經(jīng)有9人回復(fù)
-
考研調(diào)劑
已經(jīng)有5人回復(fù)
-
南京大學(xué)化學(xué)調(diào)劑
已經(jīng)有8人回復(fù)
» 本主題相關(guān)價(jià)值貼推薦，對(duì)您同樣有幫助:
- 工程與材料科學(xué)部2014年度創(chuàng)新研究群體和國(guó)家杰出青年科學(xué)基金項(xiàng)目評(píng)審會(huì)在成都召開
已經(jīng)有12人回復(fù)
- 2014年基金評(píng)審體會(huì)
已經(jīng)有58人回復(fù)
- 給基金委打電話了，說今年開始建立評(píng)審專家信譽(yù)檔案了，所以要相信自然基金的公平性
已經(jīng)有28人回復(fù)
- 博士基金評(píng)審意見
已經(jīng)有18人回復(fù)
- 今年生命科學(xué)部的自然基金開始通信評(píng)審沒有？
已經(jīng)有27人回復(fù)
- 今年數(shù)理部的自然基金開始通信評(píng)審沒有？
已經(jīng)有7人回復(fù)
- 美國(guó)NSF EAR基金評(píng)審
已經(jīng)有6人回復(fù)
- 科學(xué)基金評(píng)審如何保護(hù)“公正與創(chuàng)新” 靳達(dá)申
已經(jīng)有7人回復(fù)
- 基金委選擇評(píng)審人的準(zhǔn)則是啥
已經(jīng)有23人回復(fù)
- （求助）如何查NSF資助的項(xiàng)目
已經(jīng)有5人回復(fù)
- 美國(guó)的NSF和NIH基金一般什么時(shí)候公布的？
已經(jīng)有3人回復(fù)
- 工材學(xué)部面上基金評(píng)審感受
已經(jīng)有133人回復(fù)
- 尊敬的基金評(píng)審專家，您好！請(qǐng)問，這郵件是啥意思？
已經(jīng)有10人回復(fù)
- 關(guān)于NSFC-NSF的聯(lián)合項(xiàng)目
已經(jīng)有10人回復(fù)
- 關(guān)于基金評(píng)審費(fèi)
已經(jīng)有32人回復(fù)
- 國(guó)家自然科學(xué)基金的評(píng)審標(biāo)準(zhǔn)到底是什么
已經(jīng)有8人回復(fù)
- 通訊評(píng)審專家評(píng)1份基金可拿多少評(píng)審費(fèi)用？
已經(jīng)有31人回復(fù)
- 基金評(píng)審中，地區(qū)基金中也要求A、B、C各占多少比例嗎？
已經(jīng)有4人回復(fù)
- 中美NSFC-NSF化學(xué)領(lǐng)域合作項(xiàng)目開始申請(qǐng)
已經(jīng)有4人回復(fù)
小米蟲蟲
金蟲 (小有名氣)
- 應(yīng)助: 0 (幼兒園)
- 金幣: 5112.2
- 帖子: 250
- 在線: 112小時(shí)
- 蟲號(hào): 1141991
- 注冊(cè): 2010-11-08
- 性別: MM
- 專業(yè): 自然語(yǔ)言理解與機(jī)器翻譯
4樓2014-07-18 18:11:10
hekouyanlei
鐵桿木蟲 (著名寫手)
- 應(yīng)助: 10 (幼兒園)
- 金幣: 6585.3
- 散金: 52
- 紅花: 17
- 帖子: 1273
- 在線: 401.8小時(shí)
- 蟲號(hào): 344227
- 注冊(cè): 2007-04-13
- 專業(yè): 微生物資源與分類學(xué)
2樓2014-07-18 15:18:57
3樓2014-07-18 15:44:18
ibaojr
木蟲 (知名作家)
土鱉
- 應(yīng)助: 226 (大學(xué)生)
- 金幣: 3437.3
- 散金: 3832
- 紅花: 28
- 帖子: 5119
- 在線: 702.9小時(shí)
- 蟲號(hào): 397318
- 注冊(cè): 2007-06-09
- 性別: GG
- 專業(yè): 通信理論與系統(tǒng)
5樓2014-07-18 18:18:52
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 349求調(diào)劑 +6 | 李木子啊哈哈 2026-03-25 | 6/300 |
|
|---|---|---|---|---|
|
[考研] 各位老師好，我的一志愿為北京科技大學(xué)085601材料專碩 +8 | Koxui 2026-03-28 | 8/400 |
|
|
|
[考研] 0856求調(diào)劑 +13 | zhn03 2026-03-25 | 14/700 |
|
|
|
[考研] 0703化學(xué) +11 | 妮妮ninicgb 2026-03-27 | 11/550 |
|
|
|
[考研] 一志愿太原理工安全工程300分，求調(diào)劑 +5 | 0857求調(diào)劑. 2026-03-24 | 6/300 |
|
|
|
[考研] 083000學(xué)碩274求調(diào)劑 +8 | Li李魚 2026-03-26 | 8/400 |
|
|
|
[考研] 275求調(diào)劑 +10 | Micky11223 2026-03-25 | 14/700 |
|
|
|
[考研] 求調(diào)劑 +3 | QiMing7 2026-03-25 | 4/200 |
|
|
|
[考研] 【求調(diào)劑】085601材料工程專碩 | 總分272 | +6 | 腳滑的守法公民 2026-03-27 | 6/300 |
|
|
|
[考研] 266分求材料化工冶金礦業(yè)等專業(yè)的調(diào)劑 +4 | 哇呼哼呼哼 2026-03-26 | 4/200 |
|
|
|
[考研] 287求調(diào)劑 +10 | land xuxu 2026-03-26 | 10/500 |
|
|
|
[考研] 298調(diào)劑 +3 | jiyingjie123 2026-03-27 | 3/150 |
|
|
|
[考研] 359求調(diào)劑 +4 | 王了個(gè)楠 2026-03-25 | 4/200 |
|
|
|
[考研] 081200-11408-276學(xué)碩求調(diào)劑 +3 | 崔wj 2026-03-26 | 3/150 |
|
|
|
[考研] 機(jī)械學(xué)碩310分，數(shù)一英一，一志愿211本科雙非找調(diào)劑信息 +3 | @357 2026-03-25 | 3/150 |
|
|
|
[考研] 一志愿天津大學(xué)339材料與化工求調(diào)劑 +3 | 江往賣魚 2026-03-26 | 3/150 |
|
|
|
[考研] 材料與化工328分調(diào)劑 +6 | 。，。，。，。i 2026-03-23 | 6/300 |
|
|
|
[考研] 機(jī)械學(xué)碩總分317求調(diào)劑！�。�！ +4 | Acaciad 2026-03-25 | 4/200 |
|
|
|
[考研] 302求調(diào)劑 +4 | 錦衣衛(wèi)藤椒 2026-03-25 | 4/200 |
|
|
|
[考研] 0854電子信息求調(diào)劑 +7 | α____ 2026-03-22 | 9/450 |
|