| 5 | 1/1 | 返回列表 |
| 查看: 2610 | 回復(fù): 17 | ||||
| 當前只顯示滿足指定條件的回帖,點擊這里查看本話題的所有回帖 | ||||
gorgan木蟲之王 (文學泰斗)
無意苦爭春
|
[交流]
大數(shù)據(jù)的結(jié)果是福是禍 已有9人參與
|
|||
|
(轉(zhuǎn)載自科學網(wǎng):http://blog.sciencenet.cn/blog-39416-780645.html) 商業(yè)上,我們經(jīng)常聽到所謂的口號:顧客是上帝。在社會生活中,我們也經(jīng)常聽到要獨立自由。在教育中,我們希望孩子們能夠健康成長,老師要尊重學生的選擇。于是,上述各種看似正確的觀點在生活中卻產(chǎn)生了大量的不合理的現(xiàn)象,或者是不健康的現(xiàn)象。比如,強調(diào)顧客是上帝,在今天大數(shù)據(jù)時代,太多的公司傾向于調(diào)查顧客的消費習慣,然后就迎合這個習慣,向顧客推送相應(yīng)的產(chǎn)品廣告。發(fā)現(xiàn)顧客的消費關(guān)聯(lián)習慣,就將一些可以被習慣性關(guān)聯(lián)的產(chǎn)品擺放到一起,方便顧客一起購買。但是這種迎合式的做法是有非常大的危害的,盡管從個別商家的銷售效果看,可能產(chǎn)生局部的效益,但是從社會全局看,如果利用不當,可能產(chǎn)生更多的副作用。在已經(jīng)到來的大數(shù)據(jù)時代,我們可能得到非常多的關(guān)于人和社會的各種數(shù)據(jù)和分析結(jié)果,面對這些結(jié)果,我們?nèi)绾卫檬莻非常大的問題。如果我們依照目前一味迎合的做法,大數(shù)據(jù)的效果可能未必產(chǎn)生正能量。以下幾點可能值得注意。 一、統(tǒng)計現(xiàn)象可能是病態(tài)的; 我們經(jīng)常得到一些用戶的消費或者娛樂行為,但是這些行為可能是病態(tài)的。這里我就舉兩個病態(tài)的習慣現(xiàn)象作為例子說明。有些用戶具有一種病態(tài)的消費習慣,習慣于同時消費一定數(shù)量的產(chǎn)品,或者某種特定的產(chǎn)品組合。比如,有些肥胖癥病人,喜歡吃高熱量食品,當然就喜歡看到高熱量食品擺放在一起,但是這樣就無形中鼓勵了對這些用戶的不良消費習慣。另一個例子是網(wǎng)絡(luò)文學,F(xiàn)在的網(wǎng)絡(luò)文學可算是世界奇觀,大量的穿越,意淫小說充斥網(wǎng)絡(luò)。我喜歡看電子書,可是從網(wǎng)上很難看到像樣的新書可以閱讀,大多數(shù)還是從正規(guī)出版社進行購買紙質(zhì)書閱讀。這種一味迎合特定讀者群的網(wǎng)絡(luò)文學現(xiàn)象,相當程度上進一步惡化了當前的教育生態(tài)。那些網(wǎng)絡(luò)文學只會傷害青少年的閱讀品味,甚至走上犯罪的道路。當我們看到了一種統(tǒng)計現(xiàn)象,我們僅僅是看到了當前的一種規(guī)律,但是這種規(guī)律是否是病態(tài)的,還是要進一步分析,我們不能因為可以利用這種規(guī)律掙錢,就可以推波助瀾。 二、統(tǒng)計現(xiàn)象可能是暫時的; 中國是在快速發(fā)展的過程中,由于歷史的原因和社會發(fā)展的階段性原因,很容易出現(xiàn)一窩蜂的現(xiàn)象,統(tǒng)計規(guī)律有時候表現(xiàn)的非常明顯。這給我們一個假象,認為這可能是社會發(fā)展的未來趨勢。但是我們忽視了中國社會的特殊性,這種特殊性在于很多消費習慣是一種補償性消費習慣,而對于補償性消費心理來說,可能是過度夸張的。比如,飲酒的習慣,在中國過去,飲酒僅僅是生活中很奢侈的一部分,因此飲酒的習慣對于身體的影響并不很大,但是現(xiàn)在物質(zhì)豐富了,人們還按照過去的習慣進行飲酒,但是數(shù)量大大增加了,于是身體的健康受到的非常大的影響。最近我的一些朋友們陸續(xù)開始戒酒,因為他們已經(jīng)發(fā)現(xiàn),原來認為是友好的表現(xiàn),現(xiàn)在可能被認為是不禮貌的,比如勸酒。還有就是房地產(chǎn)和汽車消費。除了投資和投機心理之外,中國人對于房子有著獨特的熱忱,其原因在于中國人還從來沒有真正擺脫居住的窘迫,于是大家都非?释凶约旱淖》。汽車也一樣,這是補償性消費的過度行為表現(xiàn)。假如我們?nèi)ビ线@種暫時的現(xiàn)象,我們會助推一些病態(tài)行為,導(dǎo)致社會成本急劇上升,尤其是整體資本成本更為夸張。 三、統(tǒng)計現(xiàn)象可能是局部的; 有時候去吃飯,朋友會通過網(wǎng)上預(yù)訂,但是去吃了之后往往不如意。其主要原因在于,統(tǒng)計數(shù)據(jù)的來源并不是全部消費人群。喜歡上網(wǎng)的人群是受限制的,上網(wǎng)又喜歡點評的人更是其中一些樂于此事的人,他們并不能代表所有的消費群體。比如,喜歡點評吃飯的人,往往是學生和年輕的職工,他們收入少,好奇心重,因此對于這種既便宜又能品嘗到一定品味的信息來源比較喜歡,這種統(tǒng)計結(jié)果對于其他人群可能就完全沒有參考價值。還比如,網(wǎng)上有些投票活動,其結(jié)果的不可靠跟吃飯的效果一樣。我們不能說網(wǎng)上的統(tǒng)計結(jié)果沒有意義,但是也不能夸大這種只有部分代表性的結(jié)果,否則我們可能會被誤導(dǎo)。想到前段時間那些惡意的大V們被封殺,也是類似的現(xiàn)象。之所以大V們有一定的市場,還是因為我們?nèi)鄙賹τ诰W(wǎng)絡(luò)輿論的全面認識。聽到一些號稱鼎鼎大名的一些網(wǎng)絡(luò)名人,我也覺得自己有點OUT了,因為作為經(jīng)常使用網(wǎng)絡(luò),并且自認為不那么落伍的人,居然從來就沒有注意到這些人。 四、統(tǒng)計現(xiàn)象可能是曲解的; 很多統(tǒng)計現(xiàn)象需要進一步解釋,而不能看直接的結(jié)果,這些統(tǒng)計結(jié)果很多都存在誤讀現(xiàn)象。有個例子能夠很好地證明。英國二戰(zhàn)時期跟德國進行空戰(zhàn),每次戰(zhàn)斗機回來都發(fā)現(xiàn),機翼上有很多槍眼,大多數(shù)工程師認為機翼是很容易受到攻擊的地方,需要進行防護,可是增加了防護之后,發(fā)現(xiàn)飛機的損失率并沒有降低,反而提高了,因為增加了防護,降低了飛機的靈活性和航程。原來是曲解了那個統(tǒng)計規(guī)律,因為在戰(zhàn)損的飛機里面,有許多飛機沒有回來,其被擊落的真正原因并沒有被統(tǒng)計,因此主要問題沒有發(fā)現(xiàn)。相反,機翼受損還能飛回來,只能說明機翼被攻擊部分本身的影響并不大。“統(tǒng)計學家 Wald 建議統(tǒng)計飛機上彈孔(槍眼)的位置,有了足夠的樣本后,然后在沒有槍眼的部位加強防護,因為這些部位被擊中的飛機都沒有返航,最后效果很好”(參考第三樓發(fā)言補充)。這個統(tǒng)計結(jié)果是不可信的,至少不是最重要的因素。 五、統(tǒng)計現(xiàn)象可能是濫用的。 根據(jù)數(shù)學中的大數(shù)定律,樣本數(shù)量和范圍需要超過一定程度才能得到有價值的統(tǒng)計規(guī)律,樣本的數(shù)量和范圍取決于模型本身的復(fù)雜度?墒窃诂F(xiàn)實中,即便是在很嚴格的科學研究領(lǐng)域,統(tǒng)計被濫用的現(xiàn)象處處存在。大多數(shù)情況下可能是如下景象,一個科研人員或者工作人員,得到了一批樣本,根據(jù)自己的模型或者理論假設(shè)進行簡單的統(tǒng)計分析,不管是定量的還是定性的,得到一個結(jié)果,于是結(jié)論就出爐了,甚至發(fā)表在了影響因子很高的雜志上?墒蔷臀叶嗄陙韰⒓舆^的答辯會或者成果介紹的過程來看,相當數(shù)量的結(jié)果是不可靠的,甚至沒有參考價值,因為那些樣本數(shù)量少的可憐。比如,對于一個復(fù)雜現(xiàn)象,就用幾十個樣本做一個復(fù)雜的結(jié)論,這就充滿了風險,沒有檢驗過程,沒有驗證過程,這些結(jié)果可能會大大誤導(dǎo)我們對于自然的認識。另外,在統(tǒng)計結(jié)果分析的過程中,人為的選擇樣本,人為的改造樣本,這些例子已經(jīng)屢見不鮮。 根據(jù)上述觀察,即便我們進入了大數(shù)據(jù)時代,意識到數(shù)據(jù)對于決策的重要性,這是好事,但是如果不能意識到數(shù)據(jù)本身帶來的種種問題,那就無從談起如何使用。即便是統(tǒng)計結(jié)果有一定的參考價值,我們也不能一味的迎合這些所謂的習慣和趨勢,因為這些習慣和趨勢可能將我們引入一個不可持續(xù)的發(fā)展過程。從國家層面鼓勵科學使用大數(shù)據(jù)結(jié)果的研究是非常必要的。個人或者商業(yè)團體往往會傾向于自我或者本組織的利益,不大會真正從社會總成本和總的發(fā)展健康度角度看問題。這些負面影響的研究是一種公益事業(yè),只能是政府牽頭來主導(dǎo),并且有意識的引導(dǎo)這種現(xiàn)象。對于一些沒有經(jīng)過科學驗證的統(tǒng)計結(jié)果進行甄別和檢驗。但當我們看到一種規(guī)律或者現(xiàn)象,我們能夠科學的判斷這種規(guī)律是否為病態(tài)的,還是暫時的,還是局部的,還是被曲解的,還是被濫用的結(jié)果,是非常必要的。在當前迎合為主的情況下,不會有好的結(jié)果,在大多數(shù)情況下,統(tǒng)計結(jié)果可能給我們帶來的不是商業(yè)機會,而是危險的前兆。誤導(dǎo)性的統(tǒng)計結(jié)果甚至會引起不必要的社會心理暗示,從而產(chǎn)生嚴重的社會大眾效果。也許大數(shù)據(jù)統(tǒng)計分析的第三方檢驗會是未來的一個很重要的商業(yè)機會。 后記:經(jīng)曹聰博主建議,看到王飛躍老師轉(zhuǎn)載的博客可以參考: 大數(shù)據(jù):我們正在犯大錯誤? http://blog.sciencenet.cn/home.php?mod=space&uid=2374&do=blog&id=780981 silong.peng@ia.ac.cn 2014.03.31 |
感興趣的文章 |

木蟲之王 (文學泰斗)
無意苦爭春

木蟲 (正式寫手)
新蟲 (正式寫手)
木蟲之王 (文學泰斗)
無意苦爭春

| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 354求調(diào)劑 +3 | Tyoumou 2026-03-18 | 5/250 |
|
|---|---|---|---|---|
|
[考研] 材料專業(yè)求調(diào)劑 +3 | hanamiko 2026-03-18 | 3/150 |
|
|
[考研] 一志愿天大材料與化工(085600)總分338 +3 | 蔡大美女 2026-03-13 | 3/150 |
|
|
[考研] 材料與化工一志愿南昌大學327求調(diào)劑推薦 +8 | Ncdx123456 2026-03-13 | 9/450 |
|
|
[考研] 0854可跨調(diào)劑,一作一項核心論文五項專利,省、國級證書40+數(shù)一英一287 +8 | 小李0854 2026-03-16 | 8/400 |
|
|
[考研] 281求調(diào)劑(0805) +5 | 煙汐憶海 2026-03-16 | 13/650 |
|
|
[考研] 材料專碩274一志愿陜西師范大學求調(diào)劑 +6 | 薛云鵬 2026-03-13 | 6/300 |
|
|
[考研] 331求調(diào)劑(0703有機化學 +7 | ZY-05 2026-03-13 | 8/400 |
|
|
[考研] 一志愿985,本科211,0817化學工程與技術(shù)319求調(diào)劑 +6 | Liwangman 2026-03-15 | 6/300 |
|
|
[考研] 0703化學調(diào)劑 +4 | pupcoco 2026-03-17 | 7/350 |
|
|
[考研] 085600材料與化工求調(diào)劑 +5 | 緒幸與子 2026-03-17 | 5/250 |
|
|
[考研] 材料與化工專碩調(diào)劑 +5 | heming3743 2026-03-16 | 5/250 |
|
|
[考研] 一志愿,福州大學材料專碩339分求調(diào)劑 +3 | 木子momo青爭 2026-03-15 | 3/150 |
|
|
[考研] 318求調(diào)劑 +3 | Yanyali 2026-03-15 | 3/150 |
|
|
[考研] 0703化學調(diào)劑 290分有科研經(jīng)歷,論文在投 +7 | 膩膩gk 2026-03-14 | 7/350 |
|
|
[考研] 326求調(diào)劑 +3 | mlpqaz03 2026-03-15 | 3/150 |
|
|
[考研] 288求調(diào)劑 +4 | 奇點0314 2026-03-14 | 4/200 |
|
|
[考研] 297求調(diào)劑 +4 | 學海漂泊 2026-03-13 | 4/200 |
|
|
[考研] 一志愿211化學學碩310分求調(diào)劑 +8 | 努力奮斗112 2026-03-12 | 9/450 |
|
|
[考研] 321求調(diào)劑(食品/專碩) +3 | xc321 2026-03-12 | 6/300 |
|