《AI 背後的暗知識》閱讀筆記
王維嘉《AI 背後的暗知識：機器如何學習、認知與改造我們的未來世界》
English translation here.
閱畢全篇可領贈品。請享受閱讀。
暗知識
科學革命的本質是找到了可靠的驗證知識方法，最能體現此本質的是開普勒發現三定律的過程：
一、積累資料；二、提出先驗模型；三；調整模型擬合資料
驗證用處：解釋新的資料和作出預測
人類相信沒知識不能理解，直到 2016 年 3 月 15 日人工智能擊敗世界圍棋冠軍李世乭，幾千年來積累的人類技藝在機器眼中立時一文不值，而且超出人類的經驗和理性，完全無法理解
自古有理性主義和經驗主義之爭，直到上世紀五十年代，大腦研究才有突破：認知基礎是記憶，記憶基礎是關聯，關聯是通過神經元之間連接形成
Donald Hebb：兩個神經元同時受刺激就會建立連接，是為赫布學習定律，揭示了記憶或關聯的微觀機制，啟發了幾代電腦科學家，用電子線路模仿神經元
有些知識，稱「默知識」（Michael Polyani 語），如騎自行車，不能言傳，靠親身體驗，無法集中整合，非常個人化
默知識佔比極大，用處也極大且呈爆炸增長（人工智能可極快製作預告片，《Morgan》即例），使用方法上只需複製參數（一台自動車學會自動駕駛，瞬間可教會百萬台車）
資訊：事物表徵；資料：描述出來的資訊；知識：資料在時空中的關係
人類理解力由表達力及感受力組成，表達力限於清晰而簡單的關係，變數多而高階非線性則絕多無法描述，無法被表達及感受的即「暗知識」
暗知識大航海時代才剛開始，它就如大海，很快將明知識圍成孤島
機器學習與神經網絡
機器學習五大流派（及其先驗模型）：
符號學派：自行摸索決策邏輯（因果）
貝葉斯學派：從結果推出原因的機率（有因，不一定有果）
類推學派：以最近鄰法量化相似度（可能沒有所謂原因）
聯結學派：模仿人腦神經元工作原理（隱藏的相關性深不可測）
進化學派：模仿自然演化求最佳解答（無，從零開始試錯）
前四學派皆是：根據已知事物，建立預測模型
作者簡介多層神經網絡，辨認貓狗就像調節機器內的大量旋鈕，在數學上 200 年前已有自動調節旋鈕的方法，叫做最陡梯度法，俗稱霧裡下山法
人類圍棋幾千年來在小山頭打轉，機器學習則迅速掃遍群山
局部最優問題可以增加維度解決
卷積：把圖片上下左右橫掃一遍發現重合度的過程
卷積神經網絡不但是高階非線性，也無法用方程式表達，人類無法理解，極適合做圖像處理
2012 年 Alex Krizhevsky 將多年來 74%的準確度一舉提高到 84%，2015 年微軟 ResNet 又提到 96%，超越人類的 95%，此後進展甚微，投入大量人力，達到比現有好 0.1%就可以宣稱世界第一，其實本事遠不如 Alex
卷積神經網絡解決不了重要問題，如股票預測和自然語言理解，它處理的資料無先後之分
結構比卷積神經網絡更複雜的迴圈神經網絡則適合處理序列資訊
比迴圈神經網絡更神奇的強化學習：如同 AlphaGo Zero 自我對奕，以獎懲函數不斷強化
神經網絡是模仿人腦，為何可以超越人腦？因為：一、能感受人類感受不到的資訊，解析度也遠超人類；二、電子神經元比生物神經元傳遞訊號速度快、準確度高；三、電子神經元的狀態都可測量，而目前沒法獲得大腦內部的神經元連接強度
五大神經網絡研究前沿：非監督學習、增量學習和連續學習、生成對抗網絡、遷移學習、元學習（學習如何學習）
深度學習局限性：不能舉一反三，無法解釋結果；這兩個局限源於目前神經網絡只有相關性的學習能力，沒有因果推理能力
Judea Pearl 與朱松純正努力研究基於任務驅動的因果推理，雖現為少數派但或若干年後異軍突起
人工智能產業
人工智能發展六十年而突破於今，因為算力（引擎的馬力）、資料（引擎的燃料）、演算法（引擎的設計）三個要素同步成熟
當中以演算法突破最為重要，但因缺乏商業模式，專門研究演算法的私人企業屈指可數，包括 DeepMind、Numenta
三種神經網絡晶片：
用於訓練模型和識別的晶片：幾乎被英偉達壟斷
用於自動駕駛：超微半導體、高通、英特爾都在競爭
各類終端的晶片（如監控攝影機、手機、醫療設備）新創公司在這類晶片中機會最大
程式設計框架也競爭劇烈，開源主要商業價值是吸引更多程式員使用自己的程式設計框架，滋養出一個生態系統，搭便車的問題無法徹底解決，作者認為區塊鏈技術或可解之
開源運動中，使人工智能民主化、不讓大公司壟斷的構想促生 OpenAI
瓜分人工智能產業的巨頭有三類：掌握用戶資料的互聯網公司（想在資料上應用人工智能技術）、技術公司（想打造 AI 雲作為產品，如微軟、IBM）、想以人工智能提升自身產品的公司（與前兩者合作，如華為、小米）
Google 雲 AI 團隊正快速降低技術門檻，2018 年初發布 Cloud AutoML 不用任何程式框架，只需上傳資料，便能自動創建機器學習模型
新創人工智能公司要進入大公司不佔資料優勢的行業，包括新興與原有行業，前者包括自動駕駛、人臉識別等，至於進入傳統行業的商業模式還未清晰，選擇介乎為傳統行業增加效率，和從外部顛覆傳統行業之間，前者較易，後者較大利潤
目前一眾巨擘尚未掌握以下重要資料：人類身心的資料、環境資料、勞動過程資料，玩手機和上網的資料只是金礦表面的一層淺沙，隨物聯網普及，無所不在的感測器將收集到比今日大許多數量級的資料
技術推動力上，晶片耗電成制約瓶頸，大幅降低耗電是晶片設計和改良算力的重要方向，演算法和資料都在躍升中
目前人工智能只是萊特兄弟剛把飛機飛離地面，受人工智能衝擊的傳統行業很少，因從業者忙於進入沒有傳統巨頭的行業
作者認為人工智能處於新技術成熟曲線（Gartners hype cycle）中峰值剛過的位置，其預測人工智能有冷靜期而無幻滅期，估值泡沫存在，而通常都是由於一次估值離譜的收購造成
很多宣稱使用人工智能的公司，大多用大公司的開源程式設計框架，技術高度同質化沒有壁壘，公司價值較難評估，要看是否能拿到別人拿不到的資料、或對行業的獨到理解、業務開發、落地能力、演算法突破
人工智能浪潮與互聯網浪潮的區別：
一、一開始就要顛覆傳統行業，互聯網至今對行業影響局限在媒體和行銷方面
二、技術推動，互聯網創業者完全可以不懂技術
三、或不會出現贏家通吃局面，而互聯網是用戶超過門限後來者難追上
一言以蔽之，互聯網是對用戶的生意，人工智能是對企業的生意
風雨襲來
自動駕駛：十萬億美元的產業
自動駕駛等於能高速走動的機械人，需要四件事：感知、判斷、規劃、控制，目前只控制技術成熟，如感知方面目前仍受影像像素和空間解析度限制
作者詳述了自動駕駛的技術路線和挑戰
隨著電池組成本下降，電動車成本亦將大幅下降，約 2030 年會低於 2015 年美國新車最低價格，極具商業價值
傳統車商具有大規模生產能力、供應鏈管理、汽車設計能力，致命傷是軟件，只將不同廠商各個子系統的軟件集成，難以更新、升級、增加模組和糾錯，不像特斯拉般的中央操作系統，軟件結構清晰簡單
傳統汽車行業供應鏈：最近消費者為車商，再是供貨給前者的一級系統整合商，供給以上整合商的是二級系統整合商，如此類推，自動駕駛將打破這個穩定的供應鏈，使原本靜態生態系統變得動態
汽車剛發明時，多數人只能想到會取代馬車，很少想到為生活型態帶來什麼變化，結果居住分散化，增強汽車需求，增加交通網絡，旅遊度假成日常娛樂
自動駕駛會令買車獨享變得極為不經濟，每架私家車的利用率只有 5%，共享出行汽車成本七成為人工，大規模自動駕駛後成本會降到目前的三成，等於自動駕駛共享出行成本是私家車的一成
目前許多美國城市已停止道路擴建，停建新停車場，未來不再需要車庫，汽車內部設計也根本性改變，車型巨大分化，可能出現可以睡覺打牌唱歌的車
個人擁有汽車比率大幅降低，維修集中化，交通事故九成是人為，車險市場 2040 年將比如今縮六成
自動駕駛將是中國今後 10 至 20 年面臨的最大一個全球性產業機會，中國優勢包括強大電子製造能力、前瞻環保政策、發達交通設施、電動車補貼大、共用出行市場、移動支付均全球最普及、駕駛場景複雜多元
作者六種預測：2022 年後半自動駕駛功能將成為所有十五萬人民幣以上車型標準、分佈演進成為主流、新晉逐步佔領市場、特定場域市場（如旅遊景區專用自動駕駛）早於全域市場、全域全自動實現比想像中晚、中國製造將成世界領袖
醫療：最有經驗的醫生
2016 年 11 月美國 FDA 頒發首個醫療人工智能軟件平台的許可給 Arterys 心臟核磁共振成像診斷平台，獲准至少要和專業醫生一樣準，而且比醫生快了 200 倍
人工智能可以快速準確作醫療影視識別，深度學習可極短時間從大量化合物中篩選出被選者，對發現新藥極有幫助，診斷與預測方面掌握越來越多的暗知識，並可做日常健康管理（如 Virta Health），製作病歷
金融：徹底顛覆
銀行業
預計在 2022 年，聊天機械人將助全球銀行年省 80 億美元
人工智能將取代銀行內部大量人工管理工作，例如生成財務報告
遴選人才也會藉助演算法：德意志銀行 2016 年 9 月面向美國大學畢業生啟用由矽谷公司 Koru 設計的篩選系統
保險業
人工智能將提供客製化保險產品
特斯拉有每輛車的駕駛資料，2017 年它也宣布今後將自己提供車險，箇中精算係傳統保險公司望塵莫及
財險公司 Cape Analytics 利用機器學習和高空攝影為財產進行風險評級
透過分析資料來推銷準確度遠高於保險業務員的推銷率
證券業
2000 年高盛紐約總部有 600 名交易員，現在只剩下兩名，由 200 名電腦工程師支援的自動交易程式接管其餘工作
英國公司 coalition 表示當前將近 45%的交易都通過電子管道完成
智慧投資顧問可以全天候工作並大幅降低成本，2017 年全球智慧投資顧問管理資產超過 2248 億美元，年增長率 47.5%
媒體業：萬物皆媒，人機協作時代來臨
美聯社 2014 年開始用演算法自動生成財報報導，估計能釋放記者兩成時間
語音辨識技術大幅減低記者採訪的整理時間，深度學習增強記者分析能力，機器視覺技術有助查找資料，個性化新聞成為可能
保安：人臉識別、公共場合圖像識別、表情和唇語識別、步態識別、預測管理人流情況…
打通巴比倫塔：自從 2017 年初 google 將翻譯從傳統統計方法改為神經網絡翻譯後，準確率大為提高
超人神蹟？
很多個人電腦部聯網的大佬當初認為手機無非是個人電腦的延伸，豈知移動互聯網創造出 uber 等新的移動互聯網巨頭
科研
科研過程七個步驟：提出問題、研究文獻、根據文獻或經驗提出假設、設計實驗、進行實驗和整理資料、判斷假設是否成立、返回第二或三步提出新假設
最花時間的研究文獻、做實驗和整理資料，機器學習都可以部分甚至全部取代人
最難被取代是提出假設，但 IBM 一個團隊宣稱其系統可挖掘學術文獻並自動產生「新穎有趣、可測試、或是真」的科學假設
科研的加速可能包括以人工智能改進人工智能，2017 年底 Google 推出由人工智能自主孕育出的子人工智能 NASNet，在圖像分類和目標識別資料集的準確度比之前的公佈的產品結果更佳
詩
一首好詩語句自然流暢，意境渾然天成，令人觸景生情，引起讀者共鳴，機器學習就像極刻苦但缺天資的詩歌愛好者，無法做出有意境，暫無法企及詩人
畫
人工智能模仿特定作家畫風產生作品
羅格斯大學電腦系藝術與人工智慧實驗室、facebook 人工智慧研究院、查爾斯頓學院藝術史系三方聯合小組用機器繪畫，提出「創意性的對抗網絡」creative adversarial network 之說，鑑別器會產生「藝術或非藝術」與「能否分辨藝術風格」兩個對立的訊號，獎勵強化不能分辨風格的藝術作品，盡可能使作品遊離於現有的標準藝術風格之外
戰爭
自動化：確定性輸入，確定性輸出
自主化：不確定性甚至從未見過的輸入，一定概率分佈的輸出
未來軍用電池很可能以氫燃料電池為主，能量密度高
巨大的商業前景推動人工智能在民用商用上快速進展，未來軍用技術將落後於民用技術
大量無人機可大規模協同行動，2018 年韓國冬奧中，英特爾用 1218 架模型機組成了奧運五環
血肉之軀的需求越來越少，一個人可協調操控大批自主化武器，軍隊像高科技公司一樣越來越重視個體能力
以武器為中心轉向為以數據為中心，誰能通過實戰資料快速反覆演算出最佳模型就能勝利
學習
機器可實現群體學習和光速分享，讓十四台機器一起學習，學習時間就變成原先 1/14
人類優勢
識別模式不需大量資料，嬰兒看見一隻貓，就認識了所有的貓
機器沒有常識和物理世界模型、沒有自主自發通用語言能力、沒有想像力、自我意識、情感和同理心
人機融合
最激進方法之一是馬斯克提出的 neuralink，研發神經雷斯對接在人腦神經網絡接收人腦訊號，作者認為有基本漏洞：脫離了語言人類無法進行高級思維
Brian Johnson 成立 Kernel，宣稱要能夠對神經網絡底層功能直接讀寫
神人與閒人
大量職業將遭人工智能淘汰，關於孩子該學什麼，筆者答「學好數理化，走遍天下都不怕」，現代科學全部基礎是《幾何原本》，凡稱得上科學的學科，都具備幾何原本的公理系統和可用實驗驗證，物理學建立在數學之上，化學在物理學之上，生物學在前兩者之上，所以現代科學基礎都是數學，即使十年廿載後神經網絡機器學習遇到瓶頸，學好數理化的孩子仍有許多選擇
另一門最重要的課是語文，未來最難被取代的是與人溝通的工作
新藍領將包括：數據標註員、資料採集師、人工智能訓練師
新白領；與人工智能並肩作業、開發、監控與維修人工智能、回應人工智能驅動的典範轉變的工作（如圍繞人工智能創建法律框架）
新粉領：機器解釋師（如在醫療行業中向人解釋機構決定）
作者認為全民普遍收入最大問題是太昂貴，不如實行全民普遍培訓
若大批選擇、評估、執行專案能力都遠高於官員的成功企業家，都像蓋茨、畢菲特般投入公益，會自然形成有效率的公益市場，解決貧富懸殊問題
進入依賴石油的時代，中東產油國搖身變成巨富；當電動車時代來臨，富產電池原料的剛果，或成大國必爭之地
若發生大規模失業，應鼓勵大量公益組織使人找回價值感
假如確認自我意識無非是大量神經元之間的複雜啟動和連接模式，機器如要產生自我意識，要滿足：
神經元數量：目前已超過人腦
連接方式：機器神經網絡有清楚層級，人腦神經元卻沒有
訊號方式：人工神經網絡加權系統一致，而人腦中每個神經元訊號強弱、門限高低都不同
隨機性：人腦深受外界環境影響，複雜系統中的隨機性是湧現靈感的重要條件，而我們不清楚如何在人工神經網絡這確定性系統中引入隨機性
21/10/2020 閱畢於誠品
Wang reveals that the AI revolution is flooding our world with “dark knowledge”—correlations and decisions locked inside a black box that surpasses human comprehension. As machine intelligence becomes increasingly opaque, humanity’s ability to transparently verify truth becomes our most critical survival asset.
Yet, our current societal framework structurally fails at this exact task. My philosophy proposes the necessary upgrade: an open-source, verifiable framework for human consensus, built to anchor our reality before we are entirely overwhelmed by the black box of the machine.
感謝看到最後，額外送上此圖。
如需中文版圖表，不妨來函告知，我會為你特別製作。
