 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 5 | 1/1 | 返回列表 |
| 查看: 2162 | 回復(fù): 4 | ||||
taochn鐵桿木蟲 (著名寫手)
|
[交流]
[轉(zhuǎn)自：科學(xué)網(wǎng)]NSF開創(chuàng)新的基金評審方法 已有4人參與
|
|
基金評審方法采用同行評價(jià)，但由于需要申請人回避參與同一領(lǐng)域的評價(jià)，必然導(dǎo)致參與評審的真正同行數(shù)量的減少。尤其是一些相對冷門的專業(yè)，這種申請人回避制度必然導(dǎo)致外行評價(jià)內(nèi)行的結(jié)局。如何克服這一缺陷，美國科學(xué)基金(NSF)最近嘗試了一種新的基金評審方案，可能會(huì)成為將來基金評審方法的典范。 NSF最近嘗試的這種新的基金評審方案，就是強(qiáng)制所有競爭者必須完成評價(jià)競爭者7份申請書，這一方案完全不同于過去的申請人回避制度，通過精密設(shè)計(jì)和實(shí)際運(yùn)行，發(fā)現(xiàn)這種方案取得不可思議的效果。這應(yīng)該成為我們基金管理部門和管理者認(rèn)真學(xué)習(xí)的一種好方法。 申請人不能作為同類項(xiàng)目的評審人，是基金申請過程中經(jīng)常采用的回避制度。32年擔(dān)任作為NSF項(xiàng)目主管George Hazelrigg對這個(gè)規(guī)則非常熟悉。去年，Hazelrigg得到許可檢驗(yàn)這個(gè)規(guī)則。隨著申請數(shù)量增加，資助比例下降，基金管理人員和評審人的壓力越來越大，為了緩解這種壓力，Hazelrigg組織了一次實(shí)驗(yàn)。他反其道而行之，不僅讓申請人作為評審人，而且要求他們必須評審7份申請才能獲得自己申請書被評審的條件。這聽上去有點(diǎn)不靠譜。但是工程領(lǐng)域的科學(xué)家對此保持樂觀，10月1日前提交的申請書超過過去的60%。初步評估結(jié)果表明，采用通訊評審取代過去的會(huì)議評審，不僅可以節(jié)省時(shí)間和開支，而且能提高評審質(zhì)量。 NSF現(xiàn)在考慮推廣這種評審方法。天文學(xué)也采用了這種方法，雙子星天文臺將采用同樣的評審方法，決定如何分配夏威夷島天文望遠(yuǎn)鏡使用時(shí)間分配方案。夏威夷島天文望遠(yuǎn)鏡總協(xié)調(diào)人Rachel Mason說，尋找理想評審人是花費(fèi)時(shí)間，正變得越來越困難。這種方式是一次重大轉(zhuǎn)變，科學(xué)家會(huì)發(fā)現(xiàn)有機(jī)會(huì)閱讀競爭者申請書是一件快樂的事情。 基金管理人員非常熟悉傳統(tǒng)基金評審過程存在的尷尬。原來的系統(tǒng)依靠評審人的個(gè)人意愿，而且受到評審人空余時(shí)間的限制，隨著申請書數(shù)量的增加，資助比例下降，潛在符合資格的評審人必然越來越少，使這種矛盾越來越突出。例如NSF去年收到49000份申請書，比2001年增加53%，但是經(jīng)費(fèi)總額并沒有成比例增加。意味著資助比例從31%降低到22%。 這一變化帶來的突出問題，評審經(jīng)費(fèi)和評審人時(shí)間支出雙雙增加，這已經(jīng)引起評審人的抱怨。因?yàn)閺恼w上，這些科學(xué)家付出增加，但是獲得資助的幾率下降。 為了克服這一困局，Hazelrigg最容易采用的一個(gè)手段是限制申請規(guī)模，這顯然也不是理想辦法，他也不想采用。2009年Astronomy & Geophysics一篇文章“Telescope time without tears: a distributed approach to peer review.”給Hazelrigg帶來靈感。 文章共同作者英國諾丁漢大學(xué)天文學(xué)家Michael Merrifield說，使用歐洲南方天文臺的申請書113項(xiàng)一下放在他桌面上，他根本沒有那么多時(shí)間仔細(xì)閱讀，這種蹩腳評審方法到了不改不行時(shí)候了。 于是Merrifield和加州大學(xué)數(shù)學(xué)家Donald Saari聯(lián)合研究一種新的評審系統(tǒng)。Donald Saari是研究表決系統(tǒng)的專家，他建議Merrifield了解一種激進(jìn)選擇radical alternative的思路。該思路依據(jù)數(shù)學(xué)游戲原理，讓競爭者接近實(shí)現(xiàn)目標(biāo)的規(guī)則方式。NSF的例子中，根據(jù)貢獻(xiàn)度大小分配申請資格能激勵(lì)申請者更好完成評審工作，NSF發(fā)布申請指南中，要求申請者必須承諾評審7份競爭者申請書的任務(wù)才有資格申請。除相互評審?fù)�，使用NSF5分制評價(jià)系統(tǒng)對申請書進(jìn)行分級評價(jià)，同時(shí)也要對7份申請書從好到壞進(jìn)行排序。Hazelrigg說選擇7份評審任務(wù)能有效限制那些無聊申請人，因?yàn)樗麄兲峤蝗魏紊暾埗急仨毟冻鲈u價(jià)7份評審任務(wù)的代價(jià)。同時(shí)，這些科學(xué)家在評審過程中也會(huì)非常慎重，隨意評審會(huì)導(dǎo)致不公平的結(jié)果，逼迫他們選擇公平評價(jià)標(biāo)準(zhǔn)。 Hazelrigg說他們用了一年獲得批準(zhǔn)這一試驗(yàn)。2013年5月通過一封信告訴所有可能的申請人。每個(gè)在10月份提交申請書的申請人必須無條件接受這個(gè)方案。如果堅(jiān)持不同意這個(gè)方案的申請人可以在2014年2月前提交申請書。 結(jié)果申請人對這個(gè)模式非常認(rèn)同，NSF最終接受到131份申請，比過去平均超過50份。 布萊克斯堡大學(xué)生物工程學(xué)家Rolf Mueller是申請人之一，他說參加這個(gè)實(shí)驗(yàn)不需要猶豫。他知道提交申請需要同意參加評審。閱讀其他競爭者的申請書是非常有意思的。南佛羅里達(dá)大學(xué)電子工程學(xué)家Arash Takshi也參與了申請，他說閱讀別人的申請書讓他學(xué)習(xí)到東西，申請人通過閱讀競爭者的申請書可清楚知道自己無法被資助的原因是自己的申請書質(zhì)量不過關(guān)，而不是別的原因。Takshi說自己花費(fèi)30個(gè)小時(shí)閱讀7份申請書。 NSF的官方說法是他們的試驗(yàn)非常成功。每個(gè)申請書都收到7份以上的高質(zhì)量評價(jià)意見，過去的方法只能獲得3-4份這樣的意見。Hazelrigg強(qiáng)調(diào)，每個(gè)評價(jià)意見都比較全面，評價(jià)質(zhì)量雖然不能按照這個(gè)為標(biāo)準(zhǔn)，但是評價(jià)更為客觀真實(shí)。通過對60%申請人的評審過程進(jìn)行分析，發(fā)現(xiàn)只有一位沒有按照在6周期限內(nèi)提交評價(jià)意見。 出處：http://blog.sciencenet.cn/blog-41174-812666.html |
回復(fù)此樓» 收錄本帖的淘帖專輯推薦
 film |
» 猜你喜歡
271材料工程求調(diào)劑
已經(jīng)有5人回復(fù)
-
281求調(diào)劑（0805）
已經(jīng)有16人回復(fù)
-
304求調(diào)劑
已經(jīng)有6人回復(fù)
-
材料工程專碩調(diào)劑
已經(jīng)有6人回復(fù)
-
一志愿天大材料與化工（085600）總分338
已經(jīng)有4人回復(fù)
-
085700資源與環(huán)境308求調(diào)劑
已經(jīng)有3人回復(fù)
-
求材料調(diào)劑
已經(jīng)有8人回復(fù)
-
294求調(diào)劑材料與化工專碩
已經(jīng)有5人回復(fù)
-
一志愿華中科技大學(xué)，080502，354分求調(diào)劑
已經(jīng)有4人回復(fù)
-
一志愿吉林大學(xué)材料學(xué)碩321求調(diào)劑
已經(jīng)有6人回復(fù)
» 本主題相關(guān)價(jià)值貼推薦，對您同樣有幫助:
- 工程與材料科學(xué)部2014年度創(chuàng)新研究群體和國家杰出青年科學(xué)基金項(xiàng)目評審會(huì)在成都召開
已經(jīng)有12人回復(fù)
- 2014年基金評審體會(huì)
已經(jīng)有58人回復(fù)
- 給基金委打電話了，說今年開始建立評審專家信譽(yù)檔案了，所以要相信自然基金的公平性
已經(jīng)有28人回復(fù)
- 博士基金評審意見
已經(jīng)有18人回復(fù)
- 今年生命科學(xué)部的自然基金開始通信評審沒有？
已經(jīng)有27人回復(fù)
- 今年數(shù)理部的自然基金開始通信評審沒有？
已經(jīng)有7人回復(fù)
- 美國NSF EAR基金評審
已經(jīng)有6人回復(fù)
- 科學(xué)基金評審如何保護(hù)“公正與創(chuàng)新” 靳達(dá)申
已經(jīng)有7人回復(fù)
- 基金委選擇評審人的準(zhǔn)則是啥
已經(jīng)有23人回復(fù)
- （求助）如何查NSF資助的項(xiàng)目
已經(jīng)有5人回復(fù)
- 美國的NSF和NIH基金一般什么時(shí)候公布的？
已經(jīng)有3人回復(fù)
- 工材學(xué)部面上基金評審感受
已經(jīng)有133人回復(fù)
- 尊敬的基金評審專家，您好！請問，這郵件是啥意思？
已經(jīng)有10人回復(fù)
- 關(guān)于NSFC-NSF的聯(lián)合項(xiàng)目
已經(jīng)有10人回復(fù)
- 關(guān)于基金評審費(fèi)
已經(jīng)有32人回復(fù)
- 國家自然科學(xué)基金的評審標(biāo)準(zhǔn)到底是什么
已經(jīng)有8人回復(fù)
- 通訊評審專家評1份基金可拿多少評審費(fèi)用？
已經(jīng)有31人回復(fù)
- 基金評審中，地區(qū)基金中也要求A、B、C各占多少比例嗎？
已經(jīng)有4人回復(fù)
- 中美NSFC-NSF化學(xué)領(lǐng)域合作項(xiàng)目開始申請
已經(jīng)有4人回復(fù)
hekouyanlei
鐵桿木蟲 (著名寫手)
- 應(yīng)助: 10 (幼兒園)
- 金幣: 6564.3
- 散金: 52
- 紅花: 17
- 帖子: 1245
- 在線: 399.8小時(shí)
- 蟲號: 344227
- 注冊: 2007-04-13
- 專業(yè): 微生物資源與分類學(xué)
2樓2014-07-18 15:18:57
3樓2014-07-18 15:44:18
小米蟲蟲
金蟲 (小有名氣)
- 應(yīng)助: 0 (幼兒園)
- 金幣: 5112.2
- 帖子: 250
- 在線: 112小時(shí)
- 蟲號: 1141991
- 注冊: 2010-11-08
- 性別: MM
- 專業(yè): 自然語言理解與機(jī)器翻譯
4樓2014-07-18 18:11:10
ibaojr
木蟲 (知名作家)
土鱉
- 應(yīng)助: 226 (大學(xué)生)
- 金幣: 3437.3
- 散金: 3832
- 紅花: 28
- 帖子: 5119
- 在線: 702.9小時(shí)
- 蟲號: 397318
- 注冊: 2007-06-09
- 性別: GG
- 專業(yè): 通信理論與系統(tǒng)
5樓2014-07-18 18:18:52
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 taochn 的主題更新
| 5 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 328求調(diào)劑，英語六級551，有科研經(jīng)歷 +3 | 生物工程調(diào)劑 2026-03-17 | 7/350 |
|
|---|---|---|---|---|
|
[考研] 268求調(diào)劑 +6 | 簡單點(diǎn)0 2026-03-17 | 6/300 |
|
|
|
[考研] 278求調(diào)劑 +5 | 煙火先于春 2026-03-17 | 5/250 |
|
|
|
[考研] 268求調(diào)劑 +7 | 好運(yùn)連綿不絕 2026-03-12 | 8/400 |
|
|
|
[考研] 085600材料與化工求調(diào)劑 +5 | 緒幸與子 2026-03-17 | 5/250 |
|
|
|
[考研] 一志愿蘇州大學(xué)材料工程（085601）專碩有科研經(jīng)歷三項(xiàng)國獎(jiǎng)兩個(gè)實(shí)用型專利一項(xiàng)省級立項(xiàng) +6 | 大火山小火山 2026-03-16 | 8/400 |
|
|
|
[考研] 一志愿南京大學(xué)，080500材料科學(xué)與工程，調(diào)劑 +4 | Jy? 2026-03-16 | 4/200 |
|
|
|
[考研] 278求調(diào)劑 +3 | Yy7400 2026-03-13 | 3/150 |
|
|
|
[考研] 藥學(xué)383 求調(diào)劑 +3 | 藥學(xué)chy 2026-03-15 | 4/200 |
|
|
|
[考研] 機(jī)械專碩325，尋找調(diào)劑院校 +3 | y9999 2026-03-15 | 5/250 |
|
|
|
[考研] 304求調(diào)劑 +5 | 素年祭語 2026-03-15 | 5/250 |
|
|
|
[考研] 304求調(diào)劑 +3 | 曼殊2266 2026-03-14 | 3/150 |
|
|
|
[考研] 0703一志愿211 285分求調(diào)劑 +5 | ly3471z 2026-03-13 | 5/250 |
|
|
|
[考研] 中科大材料與化工319求調(diào)劑 +3 | 孟鑫材料 2026-03-14 | 3/150 |
|
|
|
[考研] 289求調(diào)劑 +4 | 這么名字咋樣 2026-03-14 | 6/300 |
|
|
|
[考研] 中科大材料專碩319求調(diào)劑 +3 | 孟鑫材料 2026-03-13 | 3/150 |
|
|
|
[考研] 一志愿哈工大材料324分求調(diào)劑 +5 | 閆旭東 2026-03-14 | 5/250 |
|
|
|
[考研] 330求調(diào)劑 +3 | ?醬給調(diào)劑跪了 2026-03-13 | 3/150 |
|
|
|
[考研] 材料與化工（0856）304求B區(qū)調(diào)劑 +6 | 邱gl 2026-03-12 | 7/350 |
|
|
|
[考研] 0817化學(xué)工程與技術(shù)考研312分調(diào)劑 +3 | T123 tt 2026-03-12 | 3/150 |
|