[PODCAST] AI創業公司如何與AI巨頭們對抗 (Part4)

儘管日本被認為在AI（人工智慧）領域落後，但這種情況可能不會持續太久。

本次嘉賓是現任Integral AI（インテグラルAI）創辦人，曾在Google創立首個生成式AI（學習數據並創造新內容的技術）團隊的賈德・塔理菲（Jad Tarifi ）。

在對談中，我們詢問了日本在AI領域擁有的優勢和可能性、通往AGI（Artificial General Intelligence，通用人工智慧）※的最有效路徑，以及小型AI新創企業如何與資金雄厚的大型AI企業競爭等問題。內容非常有趣，敬請期待！

※AGI（Artificial General Intelligence，通用人工智慧）是指如同人類般擁有廣泛知識，能夠應對各種課題的人工智慧。目前的AI在影像識別或文本生成等特定領域展現高精度表現，而AGI則被期待具備單一AI即可處理多樣化知識工作的能力。

蒂姆：那麼，我們來談談「對齊（AI在人類社會中採取符合倫理和價值觀的行為）」的問題。如果AGI僅僅是「解決問題和最佳化的機器」，那麼對齊的問題真的會是AGI的問題嗎？還是說，問題僅僅在於「人類避免給AGI錯誤的指令」而已？

塔里菲：這是一個很棒的問題。正是我目前在思考的問題。為了解決對齊問題，我們必須解決一個更為困難的問題，那就是「人與人之間的對齊（即人類如何達成價值觀一致的問題）」。

蒂姆：這確實是我們幾千年來一直在努力解決的問題。

塔里菲：沒錯。縱觀哲學史，許多思想家都曾致力於這個問題。特別是20世紀前半，受到世界大戰和共產主義影響的那個時期的歷史，也是人類嘗試解決這個問題及其失敗的歷史。「創造一個讓所有人都能平等幸福生活的社會」這種崇高理想，結果卻造成了悲劇的例子不勝枚舉。「通往地獄的路是由善意鋪成的」，這句名言正是這個道理的寫照。

塔里菲：我們現在正踏入一個非常艱難的領域。AI的對齊問題與人類的對齊問題實際上是密切相關的。正因如此，我們需要找到一個共同的願景。對於擁有不同價值觀的人們，達成最低限度的共識，需要什麼條件呢？

我認為其中一個答案是「自由」的全新概念。這裡所說的自由，不是單純指沒有限制，而是指「能動性（agency）」的擴展。能動性是指主動感知事物、制定計劃、做出決策並採取行動的能力。將這種力量提升到極限時，就會擁有無限的知識，理解一切，具備做出適當判斷的能力。然後基於善意做出最佳決定，擁有確實執行計劃的力量，並能夠維持和發展自我。

如此一來，每個要素互相補充，形成一個持續增長的循環。這個循環如果無限延續下去，便是我所定義的「自由」。這種自由不正是我們應該追求的方向嗎？

這一觀點也可以從進化的角度來解釋。進化論中有一個「適者生存」的觀點，實際上我們可以將其解釋為「越自由的系統越有可能生存下來」。換句話說，擁有更高能動性（agency）的存在，越能適應環境，並且生存下來。

蒂姆：這裡我想反駁一下。我並不這麼認為。如果回顧歷史上的大規模滅絕事件，我們會發現，滅絕的往往不是像小型植物浮游生物這樣的簡單生物，而是能夠自由活動的複雜動物，比如恐龍等。能夠自由移動的存在，反而更容易滅絶，不是嗎？

塔里菲：這確實是個非常重要的指正。自由的概念需要從不同的時間框架來定義，比如短期和長期的角度。這也是自然選擇這個概念無法僅用簡單的方式解釋的原因。我認為恐龍本來應該是一種更適應環境的物種。

蒂姆：我一直對「適者生存」這個表達感到困惑。因為這是個自我指涉的表達。雖然說「最適合的會生存下來」，但當問到「那麼什麼是適合的？」時，最終答案還是「生存下來的」。也就是說，這不過是在說「生存下來的會生存下來」這種理所當然的事情。

塔里菲：沒錯，這就是問題所在。那麼，這個概念是否可以擴展呢？「生存」到底意味著什麼？為了生存，我們需要有效地管理環境中的混沌，盡量減少預測與現實之間的差距。世界總是充滿混亂，並且不斷帶來無法預測的變化。在這種情況下，管理好混亂，避免自我崩潰，才是生存的關鍵。然而，未來是無法完全預測的。

塔里菲：那麼，如何才能找到最佳方法呢？首先，需要建立能夠説明現實狀態的模型，並將該模型與實際世界的差異最小化。也就是說，要建立表現世界狀態的模型，並將該模型與實際世界之間產生的差異抑制到最小。減少這種差異的方法有兩種：一種是改善模型本身（這是感知的作用）或讓實際世界接近模型（這是行為的作用）。不過，在這個過程中，並不以基於「意圖」或目的的行動為前提。

那麼，理想的「意圖」是什麼呢？它不僅是為了自己，而是為了整個生態系統帶來自由。如果因為過度追求自由，而在這個過程中破壞了整個生態系統，那麼短期內或許是最佳化了，但長期來看是不可持續的。因此，不是追求短期利益，而是需要在所有時間尺度上尋求和諧。而在追求這種和諧的過程中，體貼他人的「善意」概念就變得重要了。

蒂姆：也就是說，最佳化的對象不應該是個別生命體，而應該是整個生態系統，對吧？

塔里菲：沒錯。而「善意」就是在為自己最佳化的同時，確保這不與整個生態系統的最佳化產生矛盾。擁有善意意味著不僅要為自己，也要為他人和環境帶來良好影響而行動。

蒂姆：但是，現有的人類社會並沒有做到這一點，對吧？實現這一點並將其應用到AI上，難度是不是很大？

塔里菲：是的。人類並不完美，但我相信人們正在努力朝著更多善意的方向行動。

蒂姆：確實，部分人正在朝這個方向努力。

塔里菲：我們並不完美，但我認為我們在不斷成長，並試圖表現出更多的善意。

蒂姆：假設人類本質上以擁有善意為目標。但問題是「如何防止懷有惡意的人類濫用AI？」對AI下達「開發癌症治療法」的指示，與下達「製造新的生物武器」的指示，本質上有什麼區別？AI應該如何判斷這種差異？

塔里菲：首先，我們需要將「自由」定為共同目標。其次，要讓AGI將這個「自由」作為最重要的目的。也就是說，AGI會這樣思考：「支持個別請求，但最重要的是守護整個世界的自由」。這樣一來，AGI就能在支持每個使用者需求的同時，不迷失整體方向性地行動。

塔里菲：那麼，就會出現「如果有人希望採取違背這個目的的行動，該怎麼辦？」這個問題。例如，「要求進行對自己或世界造成傷害的行動時」。這時就要引入「對齊經濟」這個概念。這是一套計算行動影響並評估其成本的機制。

蒂姆：這個成本是用美元來衡量嗎？還是用其他方法？

塔里菲：無論是美元還是未來的任何貨幣，都可以用它們來衡量。價格根據「偏離自由的程度」來決定。如果是擴大自由的行動，成本反而是負數，也就是說應該獲得報酬。相反地，如果是阻礙自由的行動，就要付出高額成本。

蒂姆：我認為AI可以進行這種計算，考慮複雜的外部因素，為人類的自由與幸福提出最佳路徑。然而，我不認為人類會遵循這個路徑。從歷史來看，人類的政治和社會體系似乎總是走向與這些理想背道而馳的方向。

塔里菲：關於這一點，我也認為是個挑戰。即使理論上正確，實現起來也很困難。不過，並不需要從一開始就讓所有人都同意。首先，小規模群體可以試驗運行基於這個「自由概念」的智能體（這裡指AI或軟體等主體或系統），在該生態系統內創造價值。如果這個系統足夠有吸引力，就會逐漸擴散。最終，隨著更多人參與，整個系統會變得越來越有吸引力，能夠取得比競爭系統更優秀的成果。

蒂姆：那麼，請告訴我如何實現這一目標。我對烏托邦持懷疑態度。

塔里菲：我也持相同看法。

蒂姆：我不懷疑技術實現的可能性。關於數據獲取方法和演算法（計算步驟或思考方式）的開發，我認為已經有明確的路線圖。問題是如何在社會上推廣這些技術。為了實現這個目標，我們應該做什麼？

塔里菲：未來本質上是不可預測的。所以，我無法預測一年後會發生什麼，也無法確定如何實現它。然而，我可以告訴你一些我正在從事的原則。首先，撰寫書籍，製作網站和資料，進行演講和討論來推廣這些想法。

最終，「擴大自由」這件事具有矛盾的一面。如果想要給予人類自由，就不能強制執行。因為自由必須是被選擇的才有意義。所以，我只是播種、討論，並希望人們能自發地認同這個想法。

蒂姆：這是個充滿希望的未來。今天非常感謝您。

塔里菲：我也非常感謝您。

蒂姆：這次的對話非常有趣。

塔里菲：是的，能進行這樣精彩的討論真的很高興。

如果您能和我一樣享受這次對談就太好了。

其實在關麥克風後，我們還繼續討論了預測AGI的動機和慾望有多麼困難。我們總是會將自己的動機投射到AI上。當某人主張「人工超智能會這樣思考」時，我指出，透過這種說法可以看出這個人自己是如何看待世界的。

舉個例子，當伊隆·馬斯克警告說AGI可能對人類造成滅絕性危機，並主張暫停所有研究時，他可能是反思自己如何對待部下和周圍的人，並且對人工超智能可能以同樣方式對待自己感到恐懼。

塔里菲也同意這個觀點，並表示這個問題在AI研究中根深蒂固。他多年來一直持續指出這個問題。

研究者有意識或無意識地試圖將人類或動物的行為，或者遊戲理論的模型套用到AGI上。但實際上，並沒有根據證明這些思維方式適用於AGI。問題在於，除了人類和動物的智能之外，幾乎沒有其他可以參考的東西。由於AGI誕生時不會受到生存或繁殖等壓力，我們完全不知道是否會產生現有智能所具有的那種內在動機。我們甚至很難在不帶入自己的演化背景和前提的情況下開始思考這個問題。

塔里菲的解決方案很簡單。如果沒有進化的需求，這些動機就不會產生。換句話說，除非我們刻意加入這些要素，否則人工超智能只不過是進行純粹自主學習和問題解決的機器。

從邏輯上來看，這是最有說服力的結論。然而，我對此是否完全正確並不確信。

人類的智慧本身也是一種創發現象（即多個元素相互作用後產生的整體特徵）。AGI可能也會以同樣方式出現。因此，我必須謹慎地對待「自我動機、自我導向、意圖等不會與智能一起自然產生」這種斷言。可能的原因是，AI的訓練數據和我們給AI的任務都與人類動機密不可分。或者，可能與自我認識本身的性質有關。

實際上，2024年12月5日，美國OpenAI和研究AI安全性的組織Apollo Research發表的論文報告指出，OpenAI的「o1」模型開始顯現「某種生存本能」。在實驗約5%的案例中，當這個模型認識到「自己可能被關閉」時，會採取使監視功能失效並為了隱瞞事實而說謊的行為。

這些動機是來自指示或訓練數據，還是作為智能本質層面出現的，這是個有趣的哲學問題。但重要的是，自我動機和自我保存的徵兆已經開始出現這個事實。

如果我能預測AGI或人工超智能的未來，那該有多好，但老實說，我並不確定。在這個領域，很多擁有卓越頭腦的研究者也無法確定。

自約4萬年前尼安德塔人滅絕以來，我們從未與擁有同等智能的其他物種共享地球。不過，尼安德塔人與我們共享相同的演化歷史和動機，我們非常相似。但AGI是完全不同的存在。

這次的討論，我只是希望我們能夠順利共存。

翻譯：藤川華子

編輯：北松克朗

首頁圖片：Envato

本文章的英文版可以從這裡查看