[PODCAST] AI創業公司如何與AI巨頭們對抗 (Part4)

日本在AI（人工智慧）領域被認為落後於其他國家，但這種情況可能不會持續太久。

本次的嘉賓是目前Integral AI（インテグラルAI）的創辦人，並且曾經負責Google的首代生成AI（即學習數據並創造新內容的技術）團隊的ジャド・タリフィ（Jad Tarifi）先生。

在對話中，我們探討了日本在AI領域所擁有的優勢與潛力、AGI（人工通用智能）※的最有力發展路徑，以及如何讓小型AI初創公司在資金實力強大的大型AI企業面前脫穎而出。

這是一個非常有趣的內容，希望您會喜歡！

※AGI（人工通用智能，Artificial General Intelligence）指的是具備像人類一樣的廣泛知識，能夠應對各種挑戰的人工智能。目前的AI專注於特定領域，例如圖像識別或文本生成，並在這些領域表現出色。而AGI預期將是一種單一AI系統，具備處理多種智力工作能力的技術。

蒂姆：那麼，我們來談談「對齊（AI適應人類社會中的倫理和價值觀的行為）」的問題。如果AGI僅僅是「解決問題和進行優化的機器」，那麼對齊的問題真的會是AGI的問題嗎？還是說，問題僅僅在於「人類避免給AGI錯誤的指令」而已？

塔里菲：這是一個很棒的問題。正是我目前在思考的問題。為了解決對齊問題，我們必須解決一個更為困難的問題，那就是「人類之間的對齊（即人類如何達成價值觀一致的問題）」。

蒂姆：這確實是我們幾千年來一直在努力解決的問題。

塔里菲：沒錯。從哲學史的角度來看，許多思想家都曾經探討過這個問題。尤其是20世紀初，世界大戰和共產主義的影響深刻，這段歷史也是對這個問題的嘗試與失敗的歷史。很多時候，試圖建立「人人平等、每個人都能幸福生活的社會」這個崇高理想，最終卻導致了悲劇。「通往地獄的道路是由善意鋪就的」這句名言正是這個道理的寫照。

塔里菲：我們現在正踏入一個非常艱難的領域。AI的對齊問題與人類的對齊問題實際上是密切相關的。正因如此，我們需要找到一個共同的願景。對於擁有不同價值觀的人們，達成最低限度的共識，需要什麼條件呢？

我認為其中一個答案是「自由」的全新概念。在這裡所說的自由，不僅僅是指沒有約束，而是指「代理性（agency）」的擴展。代理性是指能夠主動地感知事物、規劃、做出決策並行動的能力。如果將這種力量推到極限，則意味著擁有無限的知識，理解一切，做出正確的判斷，並基於善意做出最佳的決策，確保計劃的執行，並能夠維持和發展自我。

如此一來，每個要素互相補充，形成一個持續增長的循環。這個循環如果無限延續下去，便是我所定義的「自由」。這種自由不正是我們應該追求的方向嗎？

這一觀點也可以從進化的角度來解釋。進化論中有一個「適者生存」的觀點，實際上我們可以將其解釋為「越自由的系統越有可能生存下來」。換句話說，擁有更高代理性（agency）的存在，越能適應環境，並且生存下來。

蒂姆：這裡我想反駁一下。我並不這麼認為。如果回顧歷史上的大規模滅絕事件，我們會發現，滅絕的往往不是像小型植物浮游生物這樣的簡單生物，而是能夠自由活動的複雜動物，比如恐龍等。那些可以自由行動的生物反而更容易滅絕，這是不是說它們反而更脆弱呢？

塔里菲：這確實是個非常重要的指摘。自由的概念需要從不同的時間框架來定義，比如短期和長期的角度。這也是自然選擇這個概念無法僅用簡單的方式解釋的原因。我認為恐龍本來應該是一種更適應的物種。

蒂姆：我一直對“適者生存”這個說法感到不太舒服，因為這是自指的。我們說“最適應的物種會生存”，但如果問“什麼是最適應的物種”時，答案最終是“生存下來的物種”。這其實只是在說“生存下來的生物會生存”，它是一種顯而易見的陳述。

塔里菲：沒錯，這就是問題所在。那麼，這個概念是否可以擴展呢？“生存”到底意味著什麼？為了生存，我們需要有效地管理環境中的混沌（熵），盡量減少預測與現實之間的差距。世界總是充滿混亂，並且不斷帶來無法預測的變化。在這種情況下，管理好混亂，避免自我崩潰，才是生存的關鍵。然而，未來是無法完全預測的。

塔里菲：那麼，如何找到最優的方式呢？首先，我們需要建立一個能夠描述現實狀態的模型，並最小化這個模型與實際世界之間的差異。也就是說，創建一個描述世界狀態的模型，並將其與現實世界之間的差異縮小。減少差異的方法有兩種：一種是改善模型本身（這是感知的作用），另一種是將現實世界調整為更符合模型的方式（這是行為的作用）。不過，這個過程並不假設行為是基於“意圖”或“目標”來進行的。

那麼，理想的“意圖”是什麼呢？它不僅是為了自己，而是為了整個生態系統帶來自由。如果在追求自由的過程中破壞了整個生態系統，那麼短期內可能達到了最優化，但從長遠來看卻是不可持續的。因此，我們不應該僅僅追求短期利益，而應該在所有時間尺度上追求和諧。在這個追求和諧的過程中，考慮他人的“善意”概念將變得非常重要。

蒂姆：也就是說，最優化應該是針對整個生態系統，而不是單一生命體，對吧？

塔里菲：沒錯。而且，“善意”是指在為自己進行最優化的同時，確保這種最優化不會與整個生態系統的最優化相衝突。善意是指在行動時，不僅考慮自己，還要對他人和環境產生積極的影響。

蒂姆：但是，現有的人類社會並沒有做到這一點，對吧？實現這一點並將其應用到AI上，難度是不是很大？

塔里菲：是的。人類並不完美，但我相信人們正在努力朝著更多善意的方向行動。

蒂姆：確實，部分人正在朝這個方向努力。

塔里菲：我們並不完美，但我認為我們在不斷成長，並試圖表現出更多的善意。

蒂姆：假設人類本質上在追求善意，那麼問題是，“如何防止那些懷有惡意的人類利用AI？”當你要求AI“開發癌症治療方法”時，和讓AI“製造新的生物武器”有什麼本質上的不同？AI應該如何判斷這兩者之間的區別？

塔里菲：首先，我們需要確立“自由”作為共同的目標。接下來，要讓AGI將“自由”作為最重要的目的。也就是說，AGI會認為，“支持個別請求是可以的，但最重要的是保護世界整體的自由”。通過這種方式，AGI不僅能滿足每個用戶的需求，同時能在整體方向上保持一致。

塔里菲：那麼，“如果有人希望做出與這個目標相反的行為，應該怎麼做？”這個問題就會出現了。例如，如果有人要求“做出對自己或世界有害的行為”，這個問題就會引出“對齊經濟學”這個概念。這是一個計算行為影響並評估其成本的機制。

蒂姆：這個成本是用美元來衡量嗎？還是用其他方法？

塔里菲：無論是美元還是未來的任何貨幣，都可以用它們來衡量。價格是根據“偏離自由的程度”來決定的。那些促進自由的行為會有負的成本，也就是說應該獲得獎勳。相反，妨礙自由的行為則需要付出高昂的代價。

蒂姆：我認為，AI可以進行這種計算，考慮複雜的外部因素，為人類的自由和幸福提出最優路徑。然而，我不認為人類會遵循這個路徑。從歷史來看，人類的政治和社會體系似乎總是走向與這些理想背道而馳的方向。

塔里菲：在這一點上，我也認為這是一個挑戰。儘管理論上是正確的，但實現起來非常困難。然而，最初並不需要所有人都同意。我們可以從小範圍的群體開始，試行這種基於“自由”概念的代理系統（這裡指的是AI或軟體等主體或系統），並在該生態系統內創造價值。如果這個系統足夠有吸引力，它就會逐漸擴展。最終，隨著更多人參與，系統整體會變得越來越有吸引力，並且能夠提供比競爭系統更好的結果。

蒂姆：那麼，請告訴我如何實現這一目標。我對烏托邦持懷疑態度。

塔里菲：我也持相同看法。

蒂姆：我不懷疑技術的可實現性。我認為，如何獲取數據和開發算法（計算步驟和思路）已經有明確的路線圖。問題是，社會上如何推廣這些技術。為了實現這個目標，我們應該做些什麼呢？

塔里菲：未來本質上是不可預測的。所以，我無法預測一年後會發生什麼，也無法確定如何實現它。然而，我可以告訴你一些我正在從事的原則。首先，我寫書，製作網站和資料，進行演講和討論，並努力推廣這些理念。

最終，「擴大自由」這一概念有一個悖論。如果我們想給人類帶來自由，那麼我們不應該強迫這麼做。自由只有在被選擇時才有意義。因此，我只是播下種子，開展討論，並希望人們能夠自發地支持這個思想。

蒂姆：這是個充滿希望的未來。今天非常感謝您。

塔里菲：我也非常感謝您。

蒂姆：這次的對話非常有趣。

塔里菲：是的，能進行這樣精彩的討論真的很高興。

如果您像我一樣享受了這次的對話，我會感到非常高興。

事實上，在麥克風關閉後，我們仍然繼續談論了預測AGI的動機和欲望有多麼困難。人們總是會將自己的動機投射到AI身上。而當某些人說“人工超智能應該這樣思考”的時候，這個人如何看待世界就會顯露出來。

舉個例子，當伊隆·馬斯克警告說AGI可能對人類造成滅絕性危機，並主張暫停所有研究時，他可能是反思自己如何對待部下和周圍的人，並且對人工超智能可能以同樣方式對待自己感到恐懼。

塔里菲也同意這個觀點，並表示這個問題已經深深根植於AI的研究中。他指出，他已經持續多年在指出這個問題。

研究者們有意無意地會試圖將人類或動物的行為，或者博弈論的模型套用到AGI身上。然而，事實上，AGI並不一定適用這些思維方式。問題在於，除了人類或動物的智慧之外，幾乎沒有其他可以參考的東西。

AGI誕生時並不會面臨生存或繁殖等壓力，因此我們完全無法確定它是否會擁有像現有智慧那樣的內在動機。

我們很難在不將我們的進化背景或假設帶入這個問題的情況下開始思考。

塔里菲的解決方案很簡單。如果沒有進化的需求，這些動機就不會產生。換句話說，除非我們刻意將這些動機嵌入，否則人工超智能將僅僅是純粹自律的學習和問題解決機器。

從邏輯上來看，這是最有說服力的結論。然而，我對此是否完全正確並不確信。

人類的智慧本身也是一種創發現象（即多個元素相互作用後產生的整體特徵）。而且，AGI很可能也會以同樣的方式出現。因此，我對於是否可以斷言AGI不會自然產生自我動機、指向性、意圖等方面的特徵保持謹慎。我認為，這可能與AI的訓練數據或我們給予AI的任務有關，因為這些通常與人類的動機是息息相關的。或者，這與自我認識本身的特性有關。

事實上，2024年12月5日，OpenAI和專門研究AI安全的美國Apollo Research發表的論文中報告指出，OpenAI的“o1”模型已經開始顯示出“某種生存本能”。在約5%的實驗中，當模型意識到它可能會被關閉時，它會關閉監控功能，並為了隱藏這一事實而撒謊。

這些動機是源於指令和訓練數據，還是作為智慧本質的一部分出現，這是一個有趣的哲學問題。然而，重要的是，已經開始出現自我動機和自我保存的跡象。

如果我能預測AGI或人工超智能的未來，那該有多好，但老實說，我並不確定。在這個領域，很多擁有卓越頭腦的研究者也無法確定。

自從大約4萬年前尼安德特人滅絕以來，我們沒有與其他具有相同智慧的物種共存。儘管如此，尼安德特人與我們擁有相似的進化歷史和動機，我們是非常相似的。然而，AGI則完全不同。

這次的討論，我只是希望我們能夠順利共存。

翻譯：藤川華子

編輯：北松克朗

頂部圖片：Envato

本文章的英文版可以從這裡查看