1941年,第二次世界大戰正打得如火如荼。
有一天,美國哥倫比亞大學著名統計學家沃德教授(Abraham Wald)遇到了一個意外的
訪客,那是英國皇家空軍的作戰指揮官。他說:「沃德 教授,每次飛行員出發去執行
轟炸任務,我們最怕聽到的回報是:『呼叫總部,我中彈了!』 請協助我們改善這個
攸關飛行員生死的難題吧!」
沃德接下這個緊急研究案,他受委託分析德國地面砲火擊中聯軍轟炸機的資料,並且
以統計專業,建議機體裝甲應該如何加強,才能降低被砲火擊落的機會。但依照當時
的航空技術,機體裝甲只能局部加強,否則機體過重,會導致起飛困難及操控遲
鈍。沃德將聯軍轟炸機的彈著點資料,描繪成兩張比較表,沃德的研究發現,機翼是
最容易被擊中的部位,而飛行員的座艙與機尾,則是最少被擊中的部位。
沃德詳盡的資料分析,令英國皇家空軍十分滿意。但在研究成果報告的會議上,卻發
生一場激辯。
負責該專案的作戰指揮官說:「沃德教授的研究清楚地顯示,聯軍轟炸機的機翼,彈
孔密密麻麻,最容易中彈。因此,我們應該加強機翼的裝甲。」沃德客氣但堅定地
說:「將軍,我尊敬你在飛行上的專業,但我有完全不同的看法,我建議加強飛行員
座艙與機尾發動機部位的裝甲,因為那兒最少發現彈孔。」
在全場錯愕懷疑的眼光中,沃德解釋說:「我所分析的樣本中,只包含順利返回基地
的轟炸機。從統計的觀點來看,我認為被多次擊中機翼的轟炸機,似乎還是能夠安全
返航,而飛機很少發現彈著點的部位,並非真的不會中彈,而是一旦中彈,根本就無
法返航。」
指揮官反駁說:「我很佩服 沃德 教授沒有任何飛行經驗,就敢做這麼大膽的推
論,就我個人而言,過去在執行任務時,也曾多次機翼中彈嚴重受創,要不是我飛行
技術老到,運氣也不錯,早就機毀人亡了,所以,我依然強烈主張應該加強機翼的裝
甲。」
這兩種意見僵持不下,皇家空軍部部長陷入苦思。他到底要相信這個作戰經驗豐富的
飛將軍,還是要相信一個獨排眾議的統計學家?
由於戰況緊急,無法做更進一步的研究,部長決定接受沃德的建議,立刻加強駕駛艙
與機尾發動機的防禦裝甲。不久之後,聯軍轟炸機被擊落的比例,果然顯著降低。為
了確認這個決策的正確性,一段時間後,英國軍方動用了敵後工作人員,蒐集了部份
墜毀在德國境內的聯軍飛機殘骸,他們中彈的部位,果真如沃德所預料,主要集中在
駕駛艙與發動機的位置。
看不見的彈痕最致命
乍看之下,作戰指揮官加強機翼裝甲的決定十分合理,但他忽略了一個事實:彈著點
的分布,是一種嚴重偏誤的資料。因為最關鍵的資料,其實是在被擊落的飛機身
上,但這些飛機卻無法被觀察到,因此,佈滿了彈痕的機翼,反而是飛機最強韌的部
位。
空軍作戰指揮官差點因為太重視「看得見」的彈痕,反而做出錯誤的決
策。這個案例有特別值得警惕的地方。那就是:死掉或被俘的人無法發表意見。
第一,蒐集更多資料,並不會改善決策品質。由於彈痕資料的來源本身就有嚴
重的偏誤,努力蒐集更多的資料,恐怕只會更加深原有的誤解。
第二,召集更多作戰經驗豐富的飛行員來提供專業意見,也不能改善決策品質,
因為這些飛行員,正是產生偏誤資料過程中的一環。他們都是安全回航的飛行員,
雖然可能有機翼中彈的經驗,但都不是駕駛艙或發動機中彈的「烈士」。
簡單的說,當他們愈認真凝視那些「看得到」的彈痕,他們離真相就愈遠。
資訊界有所謂「Garbage In, Garbage Out」,前提(或假設)若是錯誤,再漂亮的統
計算式或方法、再多的資料,也不能讓後面的推論變得正確。在管理實務與日常生活
中,許多關鍵的資料,也像上述轟炸機的個案一樣,會因為「失敗」而觀察不到。
台大 劉順仁 教授在著作《決勝》一書中,對「存活者偏差(survivorship bias)」的
舉例說明,是我讀過的書中最生動貼切又清楚的一個。如果有一位70歲的老人在電視
上說,他就是靠每天抽一包煙、嚼一包檳榔才能長壽,請想起「死人沒法上電視說
話」這件事。
同樣的道理,不是那個地方長壽的老人家吃或喝某東西,某東西就是養生聖品。
再看一個騙錢的例子(這已經進化到E-mail版)。
1月2日你接到一封匿名信,向你表示,這個月市場會上漲,結果市場果然上漲,但你
不以為意,因為大家都知道有元月效應這回事(歷年來一月間股價漲多跌少)。到了
2月1日,你又接到另一封信,向你表示,市場將下跌。這一次,又給那封信說中了。3
月1日再接到一封信,情形一樣。7月,你對那位匿名人士的先見之明很感興趣,對方
邀你投資某個海外基金。於是你把全部的儲蓄拿出來投資,兩個月以後,那些錢有如
肉包子打狗,一去不回。你伏在鄰居的肩膀上嚎啕大哭,他告訴你,他也接過兩封這
種神秘信,但寄到第二封就停了。他說,第一封信的預測正確,但第二封不正確。這
是怎麼一回事?
那些騙子玩的把戲是,他們從電話簿找出一萬個人名,寄出後市看漲的信給其中一半
的人,後市看跌的信給另一半的人。一個月後,將有五千人接到的信預測正確,然後
再針對這五千人如法炮製。再一個月後,剩下二千五百人接到的信預測正確,如此直
到名單上剩下五百人,其中會有兩百人受騙上當,因此騙子只要花幾千美元的郵資,
便可賺進數百萬美元。
某騙子假裝投顧老師招收會員,跟你說你可以先加入一般會員,等你覺得準了再加入
VIP會員。 這改變更巧妙的地方在於,騙子一開始就能賺到錢,此外VIP會員還會幫騙
子建立口碑,證明騙子有多準。
存活者偏差 (survivorship bias) :只要資訊不流通,其他人不知道這假的投顧老師
有多麼(不)準。
有一天,美國哥倫比亞大學著名統計學家沃德教授(Abraham Wald)遇到了一個意外的
訪客,那是英國皇家空軍的作戰指揮官。他說:「沃德 教授,每次飛行員出發去執行
轟炸任務,我們最怕聽到的回報是:『呼叫總部,我中彈了!』 請協助我們改善這個
攸關飛行員生死的難題吧!」
沃德接下這個緊急研究案,他受委託分析德國地面砲火擊中聯軍轟炸機的資料,並且
以統計專業,建議機體裝甲應該如何加強,才能降低被砲火擊落的機會。但依照當時
的航空技術,機體裝甲只能局部加強,否則機體過重,會導致起飛困難及操控遲
鈍。沃德將聯軍轟炸機的彈著點資料,描繪成兩張比較表,沃德的研究發現,機翼是
最容易被擊中的部位,而飛行員的座艙與機尾,則是最少被擊中的部位。
沃德詳盡的資料分析,令英國皇家空軍十分滿意。但在研究成果報告的會議上,卻發
生一場激辯。
負責該專案的作戰指揮官說:「沃德教授的研究清楚地顯示,聯軍轟炸機的機翼,彈
孔密密麻麻,最容易中彈。因此,我們應該加強機翼的裝甲。」沃德客氣但堅定地
說:「將軍,我尊敬你在飛行上的專業,但我有完全不同的看法,我建議加強飛行員
座艙與機尾發動機部位的裝甲,因為那兒最少發現彈孔。」
在全場錯愕懷疑的眼光中,沃德解釋說:「我所分析的樣本中,只包含順利返回基地
的轟炸機。從統計的觀點來看,我認為被多次擊中機翼的轟炸機,似乎還是能夠安全
返航,而飛機很少發現彈著點的部位,並非真的不會中彈,而是一旦中彈,根本就無
法返航。」
指揮官反駁說:「我很佩服 沃德 教授沒有任何飛行經驗,就敢做這麼大膽的推
論,就我個人而言,過去在執行任務時,也曾多次機翼中彈嚴重受創,要不是我飛行
技術老到,運氣也不錯,早就機毀人亡了,所以,我依然強烈主張應該加強機翼的裝
甲。」
這兩種意見僵持不下,皇家空軍部部長陷入苦思。他到底要相信這個作戰經驗豐富的
飛將軍,還是要相信一個獨排眾議的統計學家?
由於戰況緊急,無法做更進一步的研究,部長決定接受沃德的建議,立刻加強駕駛艙
與機尾發動機的防禦裝甲。不久之後,聯軍轟炸機被擊落的比例,果然顯著降低。為
了確認這個決策的正確性,一段時間後,英國軍方動用了敵後工作人員,蒐集了部份
墜毀在德國境內的聯軍飛機殘骸,他們中彈的部位,果真如沃德所預料,主要集中在
駕駛艙與發動機的位置。
看不見的彈痕最致命
乍看之下,作戰指揮官加強機翼裝甲的決定十分合理,但他忽略了一個事實:彈著點
的分布,是一種嚴重偏誤的資料。因為最關鍵的資料,其實是在被擊落的飛機身
上,但這些飛機卻無法被觀察到,因此,佈滿了彈痕的機翼,反而是飛機最強韌的部
位。
空軍作戰指揮官差點因為太重視「看得見」的彈痕,反而做出錯誤的決
策。這個案例有特別值得警惕的地方。那就是:死掉或被俘的人無法發表意見。
第一,蒐集更多資料,並不會改善決策品質。由於彈痕資料的來源本身就有嚴
重的偏誤,努力蒐集更多的資料,恐怕只會更加深原有的誤解。
第二,召集更多作戰經驗豐富的飛行員來提供專業意見,也不能改善決策品質,
因為這些飛行員,正是產生偏誤資料過程中的一環。他們都是安全回航的飛行員,
雖然可能有機翼中彈的經驗,但都不是駕駛艙或發動機中彈的「烈士」。
簡單的說,當他們愈認真凝視那些「看得到」的彈痕,他們離真相就愈遠。
資訊界有所謂「Garbage In, Garbage Out」,前提(或假設)若是錯誤,再漂亮的統
計算式或方法、再多的資料,也不能讓後面的推論變得正確。在管理實務與日常生活
中,許多關鍵的資料,也像上述轟炸機的個案一樣,會因為「失敗」而觀察不到。
台大 劉順仁 教授在著作《決勝》一書中,對「存活者偏差(survivorship bias)」的
舉例說明,是我讀過的書中最生動貼切又清楚的一個。如果有一位70歲的老人在電視
上說,他就是靠每天抽一包煙、嚼一包檳榔才能長壽,請想起「死人沒法上電視說
話」這件事。
同樣的道理,不是那個地方長壽的老人家吃或喝某東西,某東西就是養生聖品。
再看一個騙錢的例子(這已經進化到E-mail版)。
1月2日你接到一封匿名信,向你表示,這個月市場會上漲,結果市場果然上漲,但你
不以為意,因為大家都知道有元月效應這回事(歷年來一月間股價漲多跌少)。到了
2月1日,你又接到另一封信,向你表示,市場將下跌。這一次,又給那封信說中了。3
月1日再接到一封信,情形一樣。7月,你對那位匿名人士的先見之明很感興趣,對方
邀你投資某個海外基金。於是你把全部的儲蓄拿出來投資,兩個月以後,那些錢有如
肉包子打狗,一去不回。你伏在鄰居的肩膀上嚎啕大哭,他告訴你,他也接過兩封這
種神秘信,但寄到第二封就停了。他說,第一封信的預測正確,但第二封不正確。這
是怎麼一回事?
那些騙子玩的把戲是,他們從電話簿找出一萬個人名,寄出後市看漲的信給其中一半
的人,後市看跌的信給另一半的人。一個月後,將有五千人接到的信預測正確,然後
再針對這五千人如法炮製。再一個月後,剩下二千五百人接到的信預測正確,如此直
到名單上剩下五百人,其中會有兩百人受騙上當,因此騙子只要花幾千美元的郵資,
便可賺進數百萬美元。
某騙子假裝投顧老師招收會員,跟你說你可以先加入一般會員,等你覺得準了再加入
VIP會員。 這改變更巧妙的地方在於,騙子一開始就能賺到錢,此外VIP會員還會幫騙
子建立口碑,證明騙子有多準。
存活者偏差 (survivorship bias) :只要資訊不流通,其他人不知道這假的投顧老師
有多麼(不)準。
沒有留言:
張貼留言