| 5 | 1/1 | 返回列表 |
| 查看: 2611 | 回復(fù): 17 | ||||
| 當(dāng)前只顯示滿足指定條件的回帖,點(diǎn)擊這里查看本話題的所有回帖 | ||||
gorgan木蟲(chóng)之王 (文學(xué)泰斗)
無(wú)意苦爭(zhēng)春
|
[交流]
大數(shù)據(jù)的結(jié)果是福是禍 已有9人參與
|
|||
|
(轉(zhuǎn)載自科學(xué)網(wǎng):http://blog.sciencenet.cn/blog-39416-780645.html) 商業(yè)上,我們經(jīng)常聽(tīng)到所謂的口號(hào):顧客是上帝。在社會(huì)生活中,我們也經(jīng)常聽(tīng)到要獨(dú)立自由。在教育中,我們希望孩子們能夠健康成長(zhǎng),老師要尊重學(xué)生的選擇。于是,上述各種看似正確的觀點(diǎn)在生活中卻產(chǎn)生了大量的不合理的現(xiàn)象,或者是不健康的現(xiàn)象。比如,強(qiáng)調(diào)顧客是上帝,在今天大數(shù)據(jù)時(shí)代,太多的公司傾向于調(diào)查顧客的消費(fèi)習(xí)慣,然后就迎合這個(gè)習(xí)慣,向顧客推送相應(yīng)的產(chǎn)品廣告。發(fā)現(xiàn)顧客的消費(fèi)關(guān)聯(lián)習(xí)慣,就將一些可以被習(xí)慣性關(guān)聯(lián)的產(chǎn)品擺放到一起,方便顧客一起購(gòu)買。但是這種迎合式的做法是有非常大的危害的,盡管從個(gè)別商家的銷售效果看,可能產(chǎn)生局部的效益,但是從社會(huì)全局看,如果利用不當(dāng),可能產(chǎn)生更多的副作用。在已經(jīng)到來(lái)的大數(shù)據(jù)時(shí)代,我們可能得到非常多的關(guān)于人和社會(huì)的各種數(shù)據(jù)和分析結(jié)果,面對(duì)這些結(jié)果,我們?nèi)绾卫檬莻(gè)非常大的問(wèn)題。如果我們依照目前一味迎合的做法,大數(shù)據(jù)的效果可能未必產(chǎn)生正能量。以下幾點(diǎn)可能值得注意。 一、統(tǒng)計(jì)現(xiàn)象可能是病態(tài)的; 我們經(jīng)常得到一些用戶的消費(fèi)或者娛樂(lè)行為,但是這些行為可能是病態(tài)的。這里我就舉兩個(gè)病態(tài)的習(xí)慣現(xiàn)象作為例子說(shuō)明。有些用戶具有一種病態(tài)的消費(fèi)習(xí)慣,習(xí)慣于同時(shí)消費(fèi)一定數(shù)量的產(chǎn)品,或者某種特定的產(chǎn)品組合。比如,有些肥胖癥病人,喜歡吃高熱量食品,當(dāng)然就喜歡看到高熱量食品擺放在一起,但是這樣就無(wú)形中鼓勵(lì)了對(duì)這些用戶的不良消費(fèi)習(xí)慣。另一個(gè)例子是網(wǎng)絡(luò)文學(xué),F(xiàn)在的網(wǎng)絡(luò)文學(xué)可算是世界奇觀,大量的穿越,意淫小說(shuō)充斥網(wǎng)絡(luò)。我喜歡看電子書(shū),可是從網(wǎng)上很難看到像樣的新書(shū)可以閱讀,大多數(shù)還是從正規(guī)出版社進(jìn)行購(gòu)買紙質(zhì)書(shū)閱讀。這種一味迎合特定讀者群的網(wǎng)絡(luò)文學(xué)現(xiàn)象,相當(dāng)程度上進(jìn)一步惡化了當(dāng)前的教育生態(tài)。那些網(wǎng)絡(luò)文學(xué)只會(huì)傷害青少年的閱讀品味,甚至走上犯罪的道路。當(dāng)我們看到了一種統(tǒng)計(jì)現(xiàn)象,我們僅僅是看到了當(dāng)前的一種規(guī)律,但是這種規(guī)律是否是病態(tài)的,還是要進(jìn)一步分析,我們不能因?yàn)榭梢岳眠@種規(guī)律掙錢,就可以推波助瀾。 二、統(tǒng)計(jì)現(xiàn)象可能是暫時(shí)的; 中國(guó)是在快速發(fā)展的過(guò)程中,由于歷史的原因和社會(huì)發(fā)展的階段性原因,很容易出現(xiàn)一窩蜂的現(xiàn)象,統(tǒng)計(jì)規(guī)律有時(shí)候表現(xiàn)的非常明顯。這給我們一個(gè)假象,認(rèn)為這可能是社會(huì)發(fā)展的未來(lái)趨勢(shì)。但是我們忽視了中國(guó)社會(huì)的特殊性,這種特殊性在于很多消費(fèi)習(xí)慣是一種補(bǔ)償性消費(fèi)習(xí)慣,而對(duì)于補(bǔ)償性消費(fèi)心理來(lái)說(shuō),可能是過(guò)度夸張的。比如,飲酒的習(xí)慣,在中國(guó)過(guò)去,飲酒僅僅是生活中很奢侈的一部分,因此飲酒的習(xí)慣對(duì)于身體的影響并不很大,但是現(xiàn)在物質(zhì)豐富了,人們還按照過(guò)去的習(xí)慣進(jìn)行飲酒,但是數(shù)量大大增加了,于是身體的健康受到的非常大的影響。最近我的一些朋友們陸續(xù)開(kāi)始戒酒,因?yàn)樗麄円呀?jīng)發(fā)現(xiàn),原來(lái)認(rèn)為是友好的表現(xiàn),現(xiàn)在可能被認(rèn)為是不禮貌的,比如勸酒。還有就是房地產(chǎn)和汽車消費(fèi)。除了投資和投機(jī)心理之外,中國(guó)人對(duì)于房子有著獨(dú)特的熱忱,其原因在于中國(guó)人還從來(lái)沒(méi)有真正擺脫居住的窘迫,于是大家都非?释凶约旱淖》。汽車也一樣,這是補(bǔ)償性消費(fèi)的過(guò)度行為表現(xiàn)。假如我們?nèi)ビ线@種暫時(shí)的現(xiàn)象,我們會(huì)助推一些病態(tài)行為,導(dǎo)致社會(huì)成本急劇上升,尤其是整體資本成本更為夸張。 三、統(tǒng)計(jì)現(xiàn)象可能是局部的; 有時(shí)候去吃飯,朋友會(huì)通過(guò)網(wǎng)上預(yù)訂,但是去吃了之后往往不如意。其主要原因在于,統(tǒng)計(jì)數(shù)據(jù)的來(lái)源并不是全部消費(fèi)人群。喜歡上網(wǎng)的人群是受限制的,上網(wǎng)又喜歡點(diǎn)評(píng)的人更是其中一些樂(lè)于此事的人,他們并不能代表所有的消費(fèi)群體。比如,喜歡點(diǎn)評(píng)吃飯的人,往往是學(xué)生和年輕的職工,他們收入少,好奇心重,因此對(duì)于這種既便宜又能品嘗到一定品味的信息來(lái)源比較喜歡,這種統(tǒng)計(jì)結(jié)果對(duì)于其他人群可能就完全沒(méi)有參考價(jià)值。還比如,網(wǎng)上有些投票活動(dòng),其結(jié)果的不可靠跟吃飯的效果一樣。我們不能說(shuō)網(wǎng)上的統(tǒng)計(jì)結(jié)果沒(méi)有意義,但是也不能夸大這種只有部分代表性的結(jié)果,否則我們可能會(huì)被誤導(dǎo)。想到前段時(shí)間那些惡意的大V們被封殺,也是類似的現(xiàn)象。之所以大V們有一定的市場(chǎng),還是因?yàn)槲覀內(nèi)鄙賹?duì)于網(wǎng)絡(luò)輿論的全面認(rèn)識(shí)。聽(tīng)到一些號(hào)稱鼎鼎大名的一些網(wǎng)絡(luò)名人,我也覺(jué)得自己有點(diǎn)OUT了,因?yàn)樽鳛榻?jīng)常使用網(wǎng)絡(luò),并且自認(rèn)為不那么落伍的人,居然從來(lái)就沒(méi)有注意到這些人。 四、統(tǒng)計(jì)現(xiàn)象可能是曲解的; 很多統(tǒng)計(jì)現(xiàn)象需要進(jìn)一步解釋,而不能看直接的結(jié)果,這些統(tǒng)計(jì)結(jié)果很多都存在誤讀現(xiàn)象。有個(gè)例子能夠很好地證明。英國(guó)二戰(zhàn)時(shí)期跟德國(guó)進(jìn)行空戰(zhàn),每次戰(zhàn)斗機(jī)回來(lái)都發(fā)現(xiàn),機(jī)翼上有很多槍眼,大多數(shù)工程師認(rèn)為機(jī)翼是很容易受到攻擊的地方,需要進(jìn)行防護(hù),可是增加了防護(hù)之后,發(fā)現(xiàn)飛機(jī)的損失率并沒(méi)有降低,反而提高了,因?yàn)樵黾恿朔雷o(hù),降低了飛機(jī)的靈活性和航程。原來(lái)是曲解了那個(gè)統(tǒng)計(jì)規(guī)律,因?yàn)樵趹?zhàn)損的飛機(jī)里面,有許多飛機(jī)沒(méi)有回來(lái),其被擊落的真正原因并沒(méi)有被統(tǒng)計(jì),因此主要問(wèn)題沒(méi)有發(fā)現(xiàn)。相反,機(jī)翼受損還能飛回來(lái),只能說(shuō)明機(jī)翼被攻擊部分本身的影響并不大!敖y(tǒng)計(jì)學(xué)家 Wald 建議統(tǒng)計(jì)飛機(jī)上彈孔(槍眼)的位置,有了足夠的樣本后,然后在沒(méi)有槍眼的部位加強(qiáng)防護(hù),因?yàn)檫@些部位被擊中的飛機(jī)都沒(méi)有返航,最后效果很好”(參考第三樓發(fā)言補(bǔ)充)。這個(gè)統(tǒng)計(jì)結(jié)果是不可信的,至少不是最重要的因素。 五、統(tǒng)計(jì)現(xiàn)象可能是濫用的。 根據(jù)數(shù)學(xué)中的大數(shù)定律,樣本數(shù)量和范圍需要超過(guò)一定程度才能得到有價(jià)值的統(tǒng)計(jì)規(guī)律,樣本的數(shù)量和范圍取決于模型本身的復(fù)雜度。可是在現(xiàn)實(shí)中,即便是在很嚴(yán)格的科學(xué)研究領(lǐng)域,統(tǒng)計(jì)被濫用的現(xiàn)象處處存在。大多數(shù)情況下可能是如下景象,一個(gè)科研人員或者工作人員,得到了一批樣本,根據(jù)自己的模型或者理論假設(shè)進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)分析,不管是定量的還是定性的,得到一個(gè)結(jié)果,于是結(jié)論就出爐了,甚至發(fā)表在了影響因子很高的雜志上?墒蔷臀叶嗄陙(lái)參加過(guò)的答辯會(huì)或者成果介紹的過(guò)程來(lái)看,相當(dāng)數(shù)量的結(jié)果是不可靠的,甚至沒(méi)有參考價(jià)值,因?yàn)槟切颖緮?shù)量少的可憐。比如,對(duì)于一個(gè)復(fù)雜現(xiàn)象,就用幾十個(gè)樣本做一個(gè)復(fù)雜的結(jié)論,這就充滿了風(fēng)險(xiǎn),沒(méi)有檢驗(yàn)過(guò)程,沒(méi)有驗(yàn)證過(guò)程,這些結(jié)果可能會(huì)大大誤導(dǎo)我們對(duì)于自然的認(rèn)識(shí)。另外,在統(tǒng)計(jì)結(jié)果分析的過(guò)程中,人為的選擇樣本,人為的改造樣本,這些例子已經(jīng)屢見(jiàn)不鮮。 根據(jù)上述觀察,即便我們進(jìn)入了大數(shù)據(jù)時(shí)代,意識(shí)到數(shù)據(jù)對(duì)于決策的重要性,這是好事,但是如果不能意識(shí)到數(shù)據(jù)本身帶來(lái)的種種問(wèn)題,那就無(wú)從談起如何使用。即便是統(tǒng)計(jì)結(jié)果有一定的參考價(jià)值,我們也不能一味的迎合這些所謂的習(xí)慣和趨勢(shì),因?yàn)檫@些習(xí)慣和趨勢(shì)可能將我們引入一個(gè)不可持續(xù)的發(fā)展過(guò)程。從國(guó)家層面鼓勵(lì)科學(xué)使用大數(shù)據(jù)結(jié)果的研究是非常必要的。個(gè)人或者商業(yè)團(tuán)體往往會(huì)傾向于自我或者本組織的利益,不大會(huì)真正從社會(huì)總成本和總的發(fā)展健康度角度看問(wèn)題。這些負(fù)面影響的研究是一種公益事業(yè),只能是政府牽頭來(lái)主導(dǎo),并且有意識(shí)的引導(dǎo)這種現(xiàn)象。對(duì)于一些沒(méi)有經(jīng)過(guò)科學(xué)驗(yàn)證的統(tǒng)計(jì)結(jié)果進(jìn)行甄別和檢驗(yàn)。但當(dāng)我們看到一種規(guī)律或者現(xiàn)象,我們能夠科學(xué)的判斷這種規(guī)律是否為病態(tài)的,還是暫時(shí)的,還是局部的,還是被曲解的,還是被濫用的結(jié)果,是非常必要的。在當(dāng)前迎合為主的情況下,不會(huì)有好的結(jié)果,在大多數(shù)情況下,統(tǒng)計(jì)結(jié)果可能給我們帶來(lái)的不是商業(yè)機(jī)會(huì),而是危險(xiǎn)的前兆。誤導(dǎo)性的統(tǒng)計(jì)結(jié)果甚至?xí)鸩槐匾纳鐣?huì)心理暗示,從而產(chǎn)生嚴(yán)重的社會(huì)大眾效果。也許大數(shù)據(jù)統(tǒng)計(jì)分析的第三方檢驗(yàn)會(huì)是未來(lái)的一個(gè)很重要的商業(yè)機(jī)會(huì)。 后記:經(jīng)曹聰博主建議,看到王飛躍老師轉(zhuǎn)載的博客可以參考: 大數(shù)據(jù):我們正在犯大錯(cuò)誤? http://blog.sciencenet.cn/home.php?mod=space&uid=2374&do=blog&id=780981 silong.peng@ia.ac.cn 2014.03.31 |
感興趣的文章 |

木蟲(chóng)之王 (文學(xué)泰斗)
無(wú)意苦爭(zhēng)春

木蟲(chóng) (正式寫(xiě)手)
新蟲(chóng) (正式寫(xiě)手)
新蟲(chóng) (正式寫(xiě)手)
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 267一志愿南京工業(yè)大學(xué)0817化工求調(diào)劑 +7 | SUICHILD 2026-03-12 | 7/350 |
|
|---|---|---|---|---|
|
[考研] 311求調(diào)劑 +3 | 冬十三 2026-03-18 | 3/150 |
|
|
[考研] 314求調(diào)劑 +8 | 無(wú)懈可擊的巨人 2026-03-12 | 8/400 |
|
|
[考研] 一志愿西南交大,求調(diào)劑 +4 | 材化逐夢(mèng)人 2026-03-18 | 4/200 |
|
|
[考研] 0703化學(xué)求調(diào)劑 總分331 +3 | ZY-05 2026-03-13 | 3/150 |
|
|
[考研] 0703化學(xué)調(diào)劑 +3 | 妮妮ninicgb 2026-03-17 | 3/150 |
|
|
[考研] 材料,紡織,生物(0856、0710),化學(xué)招生啦 +3 | Eember. 2026-03-17 | 9/450 |
|
|
[考博] 26博士申請(qǐng) +3 | 1042136743 2026-03-17 | 3/150 |
|
|
[考博] 26申博 +4 | 八旬速覽 2026-03-16 | 4/200 |
|
|
[考研] 一志愿南京大學(xué),080500材料科學(xué)與工程,調(diào)劑 +4 | Jy? 2026-03-16 | 4/200 |
|
|
[考研] 285化工學(xué)碩求調(diào)劑(081700) +9 | 柴郡貓_ 2026-03-12 | 9/450 |
|
|
[考研]
|
zhouzhen654 2026-03-16 | 3/150 |
|
|
[基金申請(qǐng)]
今年的國(guó)基金是打分制嗎?
50+3
|
zhanghaozhu 2026-03-14 | 3/150 |
|
|
[考博] 東華理工大學(xué)化材專業(yè)26屆碩士博士申請(qǐng) +6 | zlingli 2026-03-13 | 6/300 |
|
|
[考研] 求材料調(diào)劑 085600英一數(shù)二總分302 前三科235 精通機(jī)器學(xué)習(xí) 一志愿哈工大 +4 | 林yaxin 2026-03-12 | 4/200 |
|
|
[考研] 工科278分求調(diào)劑 +5 | 周慢熱啊 2026-03-12 | 7/350 |
|
|
[考研] 土木第一志愿276求調(diào)劑,科研和技能十分豐富,求新興方向的導(dǎo)師收留 +3 | 土木小天才 2026-03-12 | 3/150 |
|
|
[考研] 0817化學(xué)工程與技術(shù)考研312分調(diào)劑 +3 | T123 tt 2026-03-12 | 3/150 |
|
|
[考研] 290求調(diào)劑 +3 | ADT 2026-03-13 | 3/150 |
|
|
[考研] 321求調(diào)劑(食品/專碩) +3 | xc321 2026-03-12 | 6/300 |
|