二戰大數據故事:數學、物理學家、概率論擊敗德國潛艇
第二次世界大戰期間也有大數據?Michael Moritz在其LinkedIn上發表了一篇有關數據挖掘在二戰里運用的文章,帶我們領略了沒有MapReduce的情況下,數學家和物理學家使用大數據克敵制勝的故事。
以下為譯文:
拉科尼亞號商船的幸存者,1942年9月12日沉沒于大西洋戰役
在加州山景城與Google、Intuit、LinkedIn總部只有很短騎行距離的地方,我忽然產生了一個很奇怪的想法:將大數據的起源硅谷與殘忍的第二次世界大戰大西洋戰役連接起來。在大西洋戰役中:納粹潛艇追擊盟軍期間,幾乎成功切斷了英國唯一的供給線。
肖克利半導體公司最初坐落于391圣安東尼奧道路,在1956年由晶體管的爭議發明者之一、諾貝爾獎獲得者威廉•肖克利創立。這曾今也是肖克利的公司,或者更準確地說是他極端的個性,最終導致許多最重要的硅公司在過去的半個世紀中誕生—— 其中最值得注意的就是Intel。(1956的)十多年前,年輕的肖克利加入了一個由英國及美國科學家組成的團隊,在戰爭史中開創了使用數據引導戰爭,并且顛覆了戰爭進程。
這段漸漸隱去的插曲被記錄在Blackett’s War —— Steven Budiansky新書,講述了一個由厭戰的數學家、物理學家組成的小團體,通過專心的審查對數據進行收集和整理,并對匯聚出的信息進行分析,最終說服盟軍海軍和空軍領導人放棄了他們教條、根深蒂固的偏見以及虛榮,并改變了他們的戰斗方式,它標志著運籌學的誕生。
潛艇首次出現在第一次世界大戰并被作為防御武器,然而它們迅速轉變成水面艦隊的強有力威脅。二戰伊始,所有戰斗人員就認識到來自這些潛艇的致命威脅——魚雷。在1940年和1941年期間,納粹潛艇艦隊成為懸在盟軍海上補給線頭上的利刃。這是英國軍隊和特務機關必須面對的敵人。
當閃電戰開始,英國情報工作控制在類拉丁文和希臘文科目上取得杰出成績人的手中。然而這些簡單的計數顯然不需要具備優秀的高等數學和概率論知識,而第一次需要它們出場的地方是為英國上空出現的空襲做相應的策略。一群來自英國大學的科學家匆忙組團去幫助情報工作,由在劍橋受出生的科學家Patrick Blackett帶隊;戰爭結束三年后,Patrick Blackett被授予諾貝爾物理學獎。
在不列顛之戰期間,它們為海岸司令部工作。在哪里,它們主要把原始雷達系統收集的數據與實際戰爭集合起來,設法減少擊落一架德國轟炸機所需要的炮彈數量 —— 大約從20000到4000,由Sperry Predictor進行輔助(連接到武器上重量大約半噸的機械計算機)。他們還需要計算出潛艇的數量,這樣一來海岸司令部的飛機就可以做恰當的飛行從而達到最高效的監視。當結果與預期的相距甚遠——飛機比預期更早的被潛艇人員檢測到;飛機翅膀上的油漆會從黑色變為白色,而在之后將會被成功改善。
被打撈的U-534
當天空中的威脅被解除后,Blackett的精力放到了德國潛水艇上,而早期對潛水艇的攻擊并不成功。在1940年夏天一個為期12個星期的階段內,150艘船只被擊沉。納粹艦艇甚至占領了美國的東部海岸,將美艦從科德角、新澤西和哈特拉斯海角中驅除。Winston Churchill寫道:“大西洋戰役成了二戰的主導因素。”
Blackett的科學家不得不對在不列顛之戰中取得重大勝利的措施做出修改;在為策略提供建議之前,他們梳理了操作記錄并且陪同參加任務,旨在發現有益的模式并收集大量的寶貴數據。同時他們還參與了對德軍信號密碼的破譯 —— 使用最初階段IBM和NCR的punch-card計算機進行輔助,而對手則是恩尼格瑪密碼機。從這些混亂的數據中,Blackett小組分析出了至關重要的信息,比如:在遭遇德國潛水艇后攻擊機所需要的掛載時間(15秒)、深水炸彈的最佳設置(25英尺)以及最佳的爆破模式等。他們還證明保持更多的空降是明智的,反之則不然。
有幾位不知掩飾吹捧左翼傾向的科學家,更是遭到了軍方的強烈懷疑。重點轟炸德國城市的支持者并不同意他們的觀點(攻擊潛艇會縮短戰爭);同時在德國城市進行非常危險的空襲并不會大幅度擾亂德軍的生產或供給,同樣被軍事指揮官忽略。上萬的飛行員同樣在類似的徒勞無功空襲中喪命——摧毀德國人建造在法國沿岸保護他們潛艇的建筑物。即使是最重型的炸彈也未起到任何作用,其中一些仍然存在。
海軍與空軍上將在很長的一段時間內都拒絕改變他們的信條 —— 小編制比大編制更安全,盡管有著鐵證證明這是錯誤的。Blackett證明了在一個15-24的艦隊中,每艘船有2.3%的幾率被擊沉;而在艦隊數量高于45時,被擊中的概率只有1.1%。
最終這些科學家們獲得了勝利,當盟軍把注意力放到來回穿行比斯開灣的德國潛艇時,平衡被打破。不管德國潛艇擊沉了2800艘船只的可怕事實,潛艇內士兵的死亡率更高。參與二戰的德潛艇數量達到830,其中有784或者是94%被擊沉。對于今天來說Blackett的勝利只是智商擊敗了力量,然而在那個時代挖掘和分析如此多數據可謂是前無來者!