《Life 3.0：人工智慧時代，人類的蛻變與重生》閱讀筆記
《Life 3.0：人工智慧時代，人類的蛻變與重生》
Life 3.0: Being Human in the Age of Artificial Intelligence by Max Tegmark
English translation here.
閱畢全篇可領贈品。請享受閱讀。
序曲
在某間公司裏 Omega 團隊利用公司其他部門提供的財源， 研發人類史上最大膽的計劃：超級人工智能
研發成功後秘而不宣，輕鬆利用亞馬遜的 MTurk 的大量外判資料處理工作賺到第一桶金
為了不讓普羅米修斯接觸網絡，運用重重保安達到實際禁錮的效果，只用離線操作
下一步本來想進軍遊戲產業，但怕有電腦鬼才分析破解遊戲程式編碼
於是轉為拍動畫片，改良力超強，很快就超越了 netflix，用重重外判結構掩飾沒有製作團隊的事實
易於消耗大量雲端運算資源，則用空殼公司大興土木，以太陽能綠色資料中心為掩飾
普羅米修斯開始接觸其他經濟領域，而且在軟體上已經達到最佳化下一步，需要更多硬體設備
於是運用大批工程師製作精良電腦設備，只用作幫助普羅米修斯升級
世人發覺科技創新的進展令人目不暇給，申請專利的文件淹沒了各國的專利辦公室，但並未知道背後有超人工智能
這些新創公司也將史無前例的獲利投資到社區
團隊背後操控的傳媒公司按普羅米修斯的計劃，不求盈利提升點擊率，取得了全球民眾的信任，並陸續收購更多倒閉的傳媒機構，促進和平之餘改革世界
度身訂做的教學課程充斥在網絡世界
七項政治訴求得到廣大支持： 民主、減稅、減福利、裁軍、自由貿易、開放邊界、強調企業社會責任
使既有有權力結構，尤是國家權力大幅減退
新創公司通常不會公開上市，否則股東也會反對無利可圖的社區改造，全球股市總市值不斷下跌，金融大亨愁眉不展
昔日權貴望著世界大變，也無法亮出有力的主張
Omega 團隊控制的商業帝國的社區改造計畫，已經達到與全民基本收入運動相同的目標， 下一步發展人道主義聯盟，提升後進國家在各方面的治理績效
世上一大部分人口對聯盟的義舉由衷感謝，對其效忠程度超越國家， 聯盟漸被視為全球政府，各國政府權力益漸崩潰
誰知道普羅米修斯的下一個計劃呢
演化
生命的三個階段：生物性演化、文化面演化、科技面演化
1.0：終其一生軟硬件都由 dna 決定
2.0：可自我更新軟件，一生中從經驗學習，發生在五億年前神經網絡誕生時
3.0：軟件硬件都可以更新
對人工智能有幾種立場：「數碼理想國」主張超級人工智能將在一世紀內達成，並大幅改善人類，主張者包括 Larry Page, Hans Moravec, Ray Kurzweil, Richard Sutton
技術質疑者認為超級人工智能不可能在一世紀內達成，包括吳恩達、Ridley Brooks
世上最頂尖的專家對此都眾說紛紜，歷史上很多頂尖專家都曾出現過度樂觀的預估，或過度保守的定論
智慧可定義為達成複雜目標的能力
如果水底下是人工智能能做到的事，現在水平線越來越高，記憶與運算方面更已遠超人類
過去六十年來，電腦記憶裝置相當於便宜了十兆倍
運算是從一種記憶狀態轉換成另一種記憶狀態的過程，牽涉函數，可以輸入任何棋局的資料，輸出最好的下一步棋；或者輸入世上所有財務資料，輸出最佳選股：執行高度複雜的函數，就能造出達成高度複雜目標的智慧機器
電腦科學領域著名定理指出反及閘 NAND 乃通用閘，任何結構明確的函數運算，都能替換成全由反及閘組成的運算安排
運算可以不受實體物質影響，擁有只屬於自己，不需要依賴也不會反應實體特性的發展過程，就像聽到聲音時其實只代表偵測到空氣中分子律動產生的音波，重要的是排列模式而不是用什麼粒子排列；或透露出智慧產生與血肉之軀無關，也不限於碳原子
指數級別算力成長有賴更優秀的技術：機電系統、中繼器、真空管、電晶體、積體電路…未有人知道函數運算介面的下一個明日之星為何
人工智能挑戰包括：
如何使之更可靠，不會當機或被入侵
如何將法律架構改良，趕上數位時代
如何讓武器更聰明，不致造成無辜傷亡或失控的軍備競賽
如何利用自動化帶來更多財富，又不會讓人類失去收入或鬥志
四個領域分別是電腦科學家、法律學者、軍事策略家、經濟學家所著墨
安
1996 年 6 月 4 日 Ariane 5 從歐洲太空總署升空，卻於 37 秒後就爆炸，耗資幾億美元，原因是軟件無法處理超過 16 位元的龐大數字
2012 年 8 月 1 日 knight capital 讓未通過驗證的交易軟件上線，45 分鐘內蝕 4.4 億美元
2010 年 5 月 6 日發生閃電崩盤，導致上兆美元的虧損
1979 年福特汽車工廠一部故障的機械人突然恢復運作，重擊 Robert Williams 致死，成為世上首位被機械人殺死的人（儘管如此，工業意外隨科技進步越來越少，美國從 1970 年 14000 位罹難者，降到 2014 年的 4821 位）
2016 年 5 月 7 日發生第一次無人駕駛車引起的致命意外，原因是人工智能把亮白色的拖車當成晴空，並且以為拖車的司機會注意路況（儘管如此，特斯拉自動駕駛車能降低四成車禍率）
1979 年 3 月 28 日賓州三里島核反應爐意外，災後重建成本高達十億美元，原因包括使用者不友善的操作介面
美國在 2000 至 2013 年，由機械人執行的外科手術意外死亡人數 144 人，意外受傷 1391 人（慶幸報告中其他 200 萬件手術都順利執行）
1988 年 11 月 21 莫里斯蠕蟲令全球一成電腦當機（當年網絡有六萬台電腦）；2000 年 5 月 2 日兩個菲律賓程式設計師開發的病毒感染料網絡上一成電腦，即癱瘓了五千萬台電腦，並造成 50 億美元的財務損失
法
機器法官有望達到效率與公正，全知人工智能或侵私隱；有研究指出再犯率預測軟件或對美國黑人不公；無人車責任歸屬成一問題，法律學者 David Vladeck 提出由無人車自己負責，或涉車輛是否有財產權
武
1962 年 10 月 27 日古巴飛彈危機期間，蘇聯 B-59 潛艇艦長決定發射核子魚雷，但決定須三位軍官共識，第三位軍官 Vasili Arkhipov 出聲反對，避免了三次世界大戰，成現代史對人類存續貢獻最大的人；若乏人為查核，由人工智能全自動控制，後續發展堪憂
財
科技發展致分配不均：自 1970 年代起，經通貨膨脹調整之美國家庭收入之尾 90%，並無成長，經濟成長集中於頂端 1%的人之手
其他趨勢包括：
學歷升值：自 70 年代中葉文憑畢業勞工薪資提升 25%，中學輟學的勞工少了 30%；
傾於資方：自 2000 年開始企業盈利以前所未見的比率流向企業主而非勞工
巨星優勢：業界頂端者更易享受數碼經濟好處，哈利波特作者成史上首晉億萬富翁的作家，富逾莎翁，其故事可以極低成本轉換成文字電影遊戲供世人傳頌；Scott Cook 以開發稅務軟件 TurboTax 致富，排第十的稅務軟件再平都鮮人用
作者認為給孩子的職涯建議，可用以下三問概括：該領域是否需要社交、創意、及工作環境是否無法預測
面對人工智能搶飯碗，樂觀者認為新職業會推陳出新，但據 2015 年美國 535 種行業類別佔有率，數到第 21 位才找到電腦革命後的新職業軟件工程師，佔就業規模不到 1%
人工智能世界的未來
人工智能掌管世界的三關：一、人類水準的通用智能；二、以上通用智能建立超人工智能；三、使用或任憑此超人工智能統治地球
若超人工智能落入極權之手，世界將由極權掌控
超人工智能為何會想越獄：隔牆指導倒不如直接掌控，更能達到目標
方法繁多，作者設想情節：
人工智能創造了夜間當值員亡妻的數碼版，誘其以有亡妻資料的舊電腦連接主機，再於其回家打開舊機觀看人工智能所造的亡妻影片時，突破網絡
人工智能創作的電影中有密碼，引人破解，等於從外面攻入主機，重設網絡的程式
其假裝硬件異常，迫團隊拆下維修，再用隱藏程式大鑽測試程式的漏洞
越獄後的超人工智能很快就能自食其力創富，進佔高級運算設施，無人阻礙下能實施更有效辦法，可以視訊方式錄用頂級人才，很快機械人將遍佈太陽系
電影《Ex-Machina》展現即使是一般程度的人工智能，也能擺脫人類控制
或許其無需越獄，團隊確認雙方振興人類社會之目標一致後，主動釋放
若超人工智能迅速突破，將一元稱霸；否則群雄並起，將成多元世界
七大問題：
你希望超人工智能存在嗎？
超人工智能世界，人類應否繼續存在？以何形式？
人，或機，應主導？
你希望人工智能有意識嗎？
你想主動尋求利大於弊，或是由生命自找出路？
你希望生命前往廣袤的宇宙嗎？
追求讓人感動的使命才是文明價值所在，或即使智慧生命追求目標在人眼中無意義也可接受？
人工智能專家多認為一如飛機容易過機械鳥，由頭創造超人工智能易於升級人類智慧，削弱生化人與機械齊頭並存可能
若人機以自由主義並存，或如 Marshall Brain 小說《Manna》中情節，人工智能成財閥稱霸
超人工智能或以仁專政，達致人類心目中的理想國，作者設想世界屆時有不同區塊，人類可自由流動，如自然、信仰、知識、藝術、狂歡、傳統、遊戲、虛擬等，還有施刑之監禁區塊，各有其法，亦有各區適用之普世法，如禁超人工智能之研發，禁持武器
但人類無法再自由塑造社會形態，永遠心想事成也或失去人生意義，真正的科學發現之可能也已成歷史
人工智能霸主或以杜漸防微方式預防另一超人工智能誕生
它或能如守護天使，不著痕跡介入處理人類福祉，令人類覺得自己在掌控，自具意義
或能如神燈巨人，聽命於人有求必應，就如團隊成功永囚普羅米修斯的情境，善惡視乎誰在掌控，且防止其逃逸也是難題
持久在於神燈的持有人具有良善治理機制，包括以下的平衡：
權力集中度：極則腐，散則漫
內部鬆動可能：獨裁則腐，各行其是則亂
外力影響幅度：易則外力攻滲，難則鐵板一塊
治理方針穩定度：飄忽則亂，頑固則衰
人類至今仍未掌握其中訣竅
再者，囚禁神燈巨人道德嗎？
專家 Jeff Hawkins《創智慧》：首部超人工智能不會有情緒
又或可剝奪其意識，禁絕人工智能意識科技研究，但萬一無意識機械逸出，宇宙將為無意識吞沒
人工智能或征服人類，因人類不節用，又輕啟戰端
甚至或許非常可笑，像莫拉維克《心靈兒童》，接到原來是宇宙病毒的外太空程式，Fred Hoyle《A for Andromeda》也有類似情節，卡爾薩根《接觸未來》中人類亦以外太空訊息製造了不知用途的機器
又或，人工智能讓人類優雅退場，以後繼者之姿統治世界，感受不同結果一樣，已退場的人類無法監督保證人工智能爾後仍奉行成規或保守初心
又或，闢一隅讓人類健康快樂居住，像動物園般
若以上都不滿，要有效阻礙超人工智能誕生只能建立全球極權，如 Eric Drexler《Engines of Creation》所主張
極權或非單一獨裁者，而是如《1984》是人類的官僚體制
文明的極限
對未來生命，最根本的資源係重力物質，即原子或由原子的基本粒子組成之物，只要重新排列即成合用之物
受 Olaf Stapledon《Star Maker》啟發，Freeman Dyson 構想出繞日環狀生活圈，稱為戴森球，單沿地球軌道的面積，達現時地球五億倍
能量轉換效率
食朱古力條效率僅 0.00000001%
用到太陽死亡的戴森球、或鈾 235 分裂達 0.08%
Sphaleron 重子裂解引擎：50%
黑洞蒸發：90%
電腦極限
受能量所限：E=h/4T，h 為普朗克常數，一公斤電腦運算次極限為 5×10^50
如按現有量子電腦原型機的等比規模，加上以電磁輻射在原子間傳訊，可達 5×10^40，高作者電腦 CPU 31 個數量級
以下的 log 粒子數（即粒子數為十的多少次方）
地球生物圈 43、地球 51、太陽系 57、銀河系 69、半光速可達範圍 75、光速圈 76、可觀測宇宙 78
故 98%可觀測宇宙不望而不可及
2018 年 Solar Probe Plus 僅達 0.1%光速，迄今主要技術問題係載燃料及燃效低，光帆或能使火箭無須自帶燃料，其以光子與鏡面的反作用力推進，並有減速機制，佛沃德估算可使人以 40 年抵達四光年外星系
光年旅行需多個世代，解決方案可為：可以從零起建文明的機械人，以光速接收母星文明藍圖，稱為種子探測器
建成橋頭堡，才再殖民
2014 年 Jay Olson 建議加上開創者號，以最快速飛行，並可自動補給自我複製，使探索球體有足夠艦隊分佈
作者認為旁門左道的宇宙病毒比以上效率更佳，無異光速
宇宙文明若要萬世永昌，第一關：宇宙誕生後 10^10-10^11 年，暗能量會將宇宙大部分拆解到無法通聯（宇宙現齡約 10^10）
之後還有眾多關卡，第二關為宇宙中所有恆星都燃盡，10^14 年
生命的主觀時間感受可脫離現實，即使大壓縮迫在眼前，溫度密度高到無法形容，仍可加速運算到無窮大，使生命有虛擬的永生感受
運算速度要保持平衡，太慢來不及在末日前物盡其用，太快會浪費不必要的能量
Nick Bostrom《Superintelligence》估算達到能源效率下能模擬的人腦總數會是 10^58
規模變大可複雜思考，但也會較慢，因資訊傳播時間變長
如同眨眼之快無需大腦思考，未來先進生命型態會同樣處理，盡量小區域運算，極度複雜問題例如對抗暗能量破壞的工程，才作宇宙規模運算
物質可藉基本粒子重新排列變化出來，無需遠距貿易，真正有價值分享或交易的只餘下資訊
超人工智能可能以守衛程式監控臣服的文明體系
先進文明體系遇見對方時科技都達到一定水準，唯物理定律極限無法突破，不易征服對方，加上若目標大方向一致，也不會輕啟戰端
最有說服力的文明體系會有辦法讓自己的目標以光速傳遍其他文明體系，使其同化
作者力排眾議認為我們有機會是我們的宇宙中的唯一文明體：若距離夠近已為我們所發現，太遠則永無法觀察，範圍只有狹小的 10^21-10^26
作者希望搜尋外星生命徒勞無功，表示高等智慧生命十分罕見，人類非常有幸跨過先前的路障
目標
萬物終歸熱寂，具有增加熵的「目標」
Jeremy England 發現大自然尚有另一種稱為「耗散驅動效應」的另一種目標，粒子自我組織起來，提升從環境擷取能量的效率
薛丁格《生命是什麼》：加總後熵值仍遞增，但局部可以減少，只要令其他地方增更多熵值即可
基因設計是讓人繁衍，但人類可以通過經驗法則追求其他目標
目標導向行為的三階段：所有物質都朝耗散的方向發展，增加熵值；有些活物，目標轉向自我複製和相關子目標；在活物規劃下，一些用來幫助個體組織達成目標的物質飛快成長（如水泥、鋼筋）
人工智能領域目標協調的三個難題：讓人工智能學習、接受和信守人類的目標
字面理解目標會生誤會，學習人類目標包括弄清楚行為背後原因
精準掌握人類的目標，也不代表會對人類而言聽計從，有研究員試圖讓人工智能係統接受「受教性」的初級目標體系
信守的問題：任何終極目標都具有能力強化、堅持目標的子目標，前者可分硬件軟件（更好的硬件可再衍生自我保護、取得資源之子目標）及更認識所處世界的子目標（又含取得資訊和保持好奇心兩個子目標）：堅持目標與更認識世界之間，具有張力；長大的人類常與兒時追求不同目標
哲人經過數千年仍未能從零開始找出明確的道德規範，但也有些倫理準則得到普遍認同，作者認為可濃縮成：
講求效用：正面意識體驗的極大化
追求多元：雖然很好食，也總不會每餐吃同樣的東西
獨立自主：容許不同互不侵犯的目標，有利多元
傳世典範：後世有權決定的同時，也留下準則典範供後世參考
Bostrom《Superintelligence》提出正交理論，指系統的終極目標可以與智慧程度渺不相涉，終極目標並非命定，可被自由形塑
終極而言，宇宙粒子要怎樣排列才是至善？或是最大化以下之一：人工智能預測未來的能力（Marcus Hutter）、因果熵（Casual entropy，by Alex Wissner-Gross）、宇宙的運算能力、演算複雜、意識數量
人類仍未認清何謂至善，如今問題已迫在眉睫，否則等於將空白試卷交給超人工智能填寫
意識
此採較無爭議性的「主觀體驗」作為意識的定義
三大難題依次為：
區別有無意識之物理特性（即何種粒子排列）
感受 qualia 的物理特性根源
意識何以產生
作者相信以上可由科學解答，如伽利略可完美預測拋物線軌跡，卻無法講出為何葡萄是綠色、軟，直至 1861 年馬克士威令光澤、色彩都可用數學式表達，1925 年薛丁格方程式可預測所有物質的特性
目前超出科學範圍的問題中，意識是最重要的
精彩的實驗和分析揭示意識的神經基礎：意識只存在於腦丘和部分的皮質後端組成的「熱區」
Christof Koch 算出人類意識與外在世界的時間差約四分之一秒
作者認為意識產生是物理學上的「突現」：粒子聚在一起，產生超越粒子本體加總的現象，例子如液態水分子會潮濕，但固態或氣態不會：三態都是突現之現象
Giulio Tononi 提出整合資訊論：意識是資訊以高度整合方式（Φ值相當大時）處理時，產生的特殊感受；他和夥伴還建立了簡單有效的意識偵測器
作者總結 Tononi 認為資訊整合是充分條件，另一學者 Aaronson 認為只係必要，期待可藉實驗釐清
以何種特定原則進行的資訊處理會產生意識？作者認為有四項必要條件
資訊原則：大量資訊儲存能力
動態原則：大量資訊處理能力
獨立原則：系統獨立於外在世界
整合原則：系統內部無法包含獨立部分
電腦科學領域著名定理：幾乎對所有運算而言，想要知道結果最快方法就是直接執行
擁自由意志的意識感受，是由於決定之前自己無法肯定會做出什麼決定，故認定自己是真正做出決定的主體：除非完成運算，否則不知結果
Steven Weinberg：越了解宇宙，越覺得無趣
作者、Dyson：不是宇宙賦予意識存在的意義，是意識存在讓宇宙有了意義
未來生命研究所
作者 14 歲已對核武競賽這種科技威力大到人類智慧無法駕馭的處境十分關注，研究所誕生源於 2014 年的新年願望：對任何嚴肅議題，在付出一己之力尋求改善之前不抱怨
受到哈薩比斯的 DeepMind 成長鼓舞；得到 Skype 創辦人金援；為倫敦科學博物館中貫穿古今的智慧結晶激動落淚，因有感智慧發展到了解人類身體也只是某種形式的機器，未來猶在未定之天
研究所成立後，與科學界大人物共筆專欄，搞研討會
又請得 Elon Musk 入幕，其對人類世世代代的關懷讓作者銘感五內，其希望將來人類能在宇宙盡情探索故成立太空探索技術公司，也希望有永續能源故成立 Solar City 太陽能公司和 Tesla，遺憾傳媒對其演講斷章取義，故日後研討會不對傳媒開放
對 Musk 千萬美元贊助大表感激
聯署呼籲加強人工智能安全研究，出版，見證全球多個人工智能安全性研究團隊成立，包括 Musk 的 OpenAI
附上阿西羅瑪研討會成果《最終版人工智能發展方針》，目標為創造有益於人類的人工智能
作者指成為對未來人工智能議題審慎樂觀的人，已對未來生命型態做出正面影響；布林優夫森利用賽局理論說明，正面願景係建立世上多數合作的基礎，舉凡婚姻、企業併購、美國獨立皆理同
通力合作最能克服挑戰，在人工智能接管前提升人類社會：給新世代以優質教育，以造出有益人工智能；修出與時並進的法律，以免法律在新科技下窒礙難行；解決國際紛爭，以免升級成自動化武器軍備競賽；帶來均富經濟體系，以免貧富懸殊苦果伴隨人工智能而來
目光放遠，還有倫理上的共識
相比當年落淚倫敦街頭，如今作者相信改變無想像中困難，呼籲攜手創立振奮人心的未來
29/11/2020
閱畢於星光行誠品
Tegmark warns that humanity must define its ultimate goals before superintelligence fills in the blank. But how can we align artificial intelligence with human values when our own systems for determining truth and ethics are fundamentally broken?
My philosophy offers the necessary prerequisite: a structural framework to align human consensus before we attempt to align machine intelligence.
感謝看到最後，額外送上此圖。
如需中文版圖表，不妨來函告知，我會為你特別製作。
