（關注公眾號并設為??標，獲取最新人工智能資訊和產(chǎn)品）

最近，加拿大AI研究機構Vector Institute公開了一段在2024年2月'Vector Institute's Remarkable 2024'活動上的重要演講視頻。該演講由深度學習和人工神經(jīng)網(wǎng)絡的創(chuàng)始人之一、Vector Institute聯(lián)合創(chuàng)始人Geoffrey Hinton（杰弗里·辛頓）主講。作為前Google副總裁兼工程研究員以及多倫多大學名譽教授，Hinton在演講中提出了一個引發(fā)深思的觀點：他認為人工智能系統(tǒng)已經(jīng)具備了主觀體驗。

他指出，目前大多數(shù)人，包括在場的聽眾，仍然認為AI系統(tǒng)與人類之間存在本質(zhì)差異——人類具有意識和主觀體驗，而AI僅僅是在計算機上運行的程序，不具備主觀體驗。但Hinton認為，這種觀點是完全錯誤的，這種誤解源于人們對主觀體驗本質(zhì)的錯誤理解。在這場演講中，他憑借數(shù)十年的專業(yè)積累，深入探討了人工智能的哲學含義及其超越人類智能的潛力。

演講環(huán)節(jié)

我的自我介紹比 Andy Barto 在20世紀80年代我在Amherst演講時的版本要簡短得多。當時 Andy 是我的朋友，他這樣介紹我：今天的演講者是 Geoffrey Hinton，他從物理專業(yè)退學，心理學專業(yè)也未能成功，但最終在一個無標準的領域取得了聲譽。最近幾天你們可能經(jīng)常聽到我的名字，那是因為我招募了大約40名非常出色的研究生，所以幾乎所有讓我出名的工作都是由這些研究生完成的。他們中包括 Ilya Sutskever、Graham Taylor、Rich Zemel、Brendan Frey、Jimmy Ba、Radford Neal，以及許多其他人。實際上，想在科研上取得成功的秘訣就是找到真正優(yōu)秀的研究生。

今天的演講內(nèi)容與我去年秋天的演講非常相似，所以如果你們決定出去走走，我完全不會介意。我非常擔心我們是否能夠繼續(xù)留存在這個星球上，所以我將圍繞這個主題展開演講。

20年前，人們對神經(jīng)網(wǎng)絡不感興趣，而現(xiàn)在又對它缺乏足夠的警惕。為了說明當時人們有多么不關心神經(jīng)網(wǎng)絡，我舉一個例子：2006年，Russ Salakhutdinov 和我向 NIPS 提交了一篇關于深度學習及其應用的相當不錯的論文，但被拒絕了。我向程序委員會表達了不滿，一位朋友告訴我，程序委員會討論過這篇論文，但他們決定拒絕，因為已經(jīng)接受了一篇關于深度學習的論文，他們認為一場會議里有兩篇深度學習的論文實在太多了。這聽起來是不是非常不可思議？

一、談AI主觀的體驗

今天的演講我會討論兩種完全不同的計算方法，并嘗試解釋為什么我會突然對 AI 感到害怕。接著，我會談談大模型以及它們是否真的理解自己所說的內(nèi)容。很多人認為它們并不理解自己所說的話，但這種看法是錯誤的。然后，我會講一點當它們變得比我們更聰明時會發(fā)生什么，但事實上沒人真正知道會發(fā)生什么。最后，我會討論它們是否有主觀體驗，因為我認為，大多數(shù)人，包括在座的許多人，仍然相信這些系統(tǒng)和我們之間存在巨大的差異。我們是有意識的、有主觀體驗的，而這些東西只是運行在計算機上的程序，沒有主觀體驗。我認為這種觀點完全是錯誤的，這種誤解源于對主觀體驗的本質(zhì)的錯誤理解。

我們都熟悉數(shù)字計算。因為是數(shù)字化的，你可以在不同的硬件上運行同一個程序，所以當硬件損壞時，知識并不會消失，只要你把程序保存下來。但是這種方法效率極低。當你運行一個大模型時，它會消耗大量電能。訓練它時可能需要數(shù)兆瓦的功率，因為需要在許多 GPU 上運行，而我們的人腦只需要大約30瓦，效率高得多。在 Google 的最后兩年，我一直在思考如何讓模擬神經(jīng)網(wǎng)絡完成類似大模型的任務。這個想法是放棄數(shù)字計算的所有優(yōu)點，例如硬件和軟件可以分離。因為我們現(xiàn)在已經(jīng)知道如何讓系統(tǒng)學習，那么我們可以讓每塊模擬硬件都與其他硬件稍有不同，并利用硬件的非線性特性進行計算。這樣的話，你無法對其進行編程，但它可以學會利用這些非線性特性，而這正是大腦所做的。

因此，我們會得到一種我稱之為'可朽計算’的模式，也就是放棄數(shù)字計算中知識'不朽’的特性，而以極低的功耗實現(xiàn)計算。此外，這種硬件可能可以用更低的成本制造，而不是像現(xiàn)有數(shù)字硬件那樣需要高精度制造。我的猜測是，制造這種硬件可能需要回到生物學，通過現(xiàn)代基因編輯技術將神經(jīng)元改造成我們所需的計算單元。然而問題是，如果你得到一小團由五萬神經(jīng)元組成的細胞團，它的體積可能還不到一個針頭那么大，但為了維持這些細胞團的存活，需要一個設備占滿整個房間。我曾訪問過圣克魯茲的一家實驗室，離開時玩了一場'乒乓游戲’，與一小團人腦神經(jīng)元互動。離開時，一個博士后跑過來說，'我想我知道怎么做一個腎了?！@正是我們不想考慮的事情。

總之，如果你想用低功耗實現(xiàn)計算，模擬計算有很多優(yōu)勢。例如，矩陣乘法可以通過讓神經(jīng)元的活動表示電壓，神經(jīng)元之間的權重表示電導來輕松實現(xiàn)。電壓乘以電導每單位時間產(chǎn)生電荷，而電荷會自然累加，這樣就可以用極低的功耗完成矩陣乘法。這類芯片現(xiàn)在已經(jīng)可以買到了。但問題是，當你想用它們做任何事情時，必須將模擬輸出轉換為數(shù)字數(shù)據(jù)才能運行反向傳播等操作。我非常關心如何避免進行這種轉換。大腦可能確實會進行模擬到數(shù)字的轉換，但那是單比特轉換，多比特的模擬到數(shù)字轉換非常昂貴。

二、談反向傳播算法

顯然，這種方法仍存在許多問題。例如，反向傳播算法依賴于對前向計算的精確建模，但在模擬硬件中，系統(tǒng)本身可能無法準確建模自己的屬性，這使得實施反向傳播變得非常困難。盡管如此，許多人已經(jīng)在一些模仿大腦的系統(tǒng)中實現(xiàn)了小規(guī)模的反向傳播。但是沒有人能讓它擴展到更大的規(guī)模。人們可以在小型任務上（比如 C510）讓它奏效，但卻無法讓它在 ImageNet 上運行。我知道現(xiàn)在的 ImageNet 不算是一個大規(guī)模的問題，但在我從事這方面研究的時候，它是一個很大的挑戰(zhàn)。

我們可以將知識從一塊模擬硬件傳遞到另一塊模擬硬件上，就像我們在人類大腦之間傳遞知識一樣。教師通過說話傳遞知識，學生則試圖調(diào)整自己大腦中的權重，以便能夠說出相同的內(nèi)容。這種方式被稱為'蒸餾’，本質(zhì)上是試圖匹配輸出。在計算機中，當你能看到輸出的整個概率分布時，這種方法效率相對較高。比如，當我即將說出一個單詞時，會有一個關于成千上萬個單詞的概率分布。如果我能看到這個分布，我就能從中學得更快。實際上，第二優(yōu)先的單詞通常能告訴你很多關于說話者思維的信息。但遺憾的是，你無法看到這個分布，只能聽到他們最終說出的單詞，所以這種技術的效率并不高。

這種效率低下的傳遞方式，導致我們不得不設立大學，試圖改善這一過程。但即便如此，它仍然無法與數(shù)字計算機相比。在數(shù)字計算機中，知識的傳遞效率更高。例如，蒸餾的初衷就是將知識從一個數(shù)字系統(tǒng)傳遞到一個不同結構的數(shù)字神經(jīng)網(wǎng)絡中，比如一個可以在手機上運行的更小的模型。不過，蒸餾效率并不高。真正高效的知識傳遞方式是使用兩個相同的模型副本。每個副本經(jīng)歷不同的體驗后共享梯度更新，獨立運行一段時間后再平均化權重。這種方式的關鍵在于，如果你有一萬億個權重，你就能共享一萬億個數(shù)值。這種帶寬極大的共享方式正是大型聊天機器人知識量遠超任何人的原因。并不是因為其中某一個副本看到了比人類多上千倍的數(shù)據(jù)，盡管這可能確實如此，而是因為這些副本可以在不同的硬件上運行，并共享它們學到的知識。

我剛剛提到了蒸餾。那么總結一下到目前為止的內(nèi)容：數(shù)字計算在能量消耗和硬件制造方面成本更高，但它允許多個相同模型副本在不同硬件上運行，并共享學習到的內(nèi)容，從而極大地擴展了學習能力。大致來說，我們?nèi)祟惔竽X中有大約 100 萬億個突觸連接，而 GPT-4 大概只有幾萬億個連接，但它掌握的知識卻比我們多幾千倍。這表明它在將知識壓縮到連接權重中方面效率極高，可能高達 10 萬倍。這也暗示了也許反向傳播是一種比我們大腦所用方法更優(yōu)的算法。一個可能的原因是，人類大腦的優(yōu)化目標完全不同。我們的大腦是為非常有限的經(jīng)驗設計的，同時擁有海量的連接數(shù)，并努力用有限的經(jīng)驗和大量的連接實現(xiàn)最佳表現(xiàn)。

我們?nèi)祟惖膲勖蠹s是 2 × 10^9 秒，但其中有意義的學習時間只有前 1 × 10^9 秒。換句話說，我們有 10^9 秒的學習時間，和 10^14 個連接，這意味著每秒鐘對應著 10 萬個連接。這種數(shù)據(jù)與連接的比例與統(tǒng)計學家習慣的完全不同。我記得在 80 年代，我曾與一位非常優(yōu)秀的統(tǒng)計學家Stuart Geman 討論。他告訴我，其實我們所做的事情本質(zhì)上是在擬合統(tǒng)計模型，這也是神經(jīng)網(wǎng)絡的本質(zhì)。當時，如果有 100 維的數(shù)據(jù)，那已經(jīng)被認為是非常高維的數(shù)據(jù)了。而沒有人會嘗試擬合一個擁有上百萬參數(shù)的模型，因為這在統(tǒng)計學領域是不合理的。

三、談模型理解能力

我們現(xiàn)在進入了一個不同的階段。我接下來會談談大模型，以及它們是否真的理解自己在說什么。有人反對大型語言模型的一個論點是，它們不過是'高級自動補全工具’。我認為在場的大多數(shù)人并不認同這個說法。這個論點的吸引力在于它基于一種假設，即自動補全是通過存儲三元組等方法實現(xiàn)的，比如看到'Fish’后會認為'chips’的概率很高。因此，當有人說這些模型只是'高級自動補全工具’時，其實是在基于傳統(tǒng)的自動補全方法作出推測。然而，這些模型的工作方式與此完全不同。

此外，如果你想要真正實現(xiàn)優(yōu)秀的自動補全，你必須理解輸入內(nèi)容。如果你收到一個冗長而復雜的問題，并嘗試預測答案的第一個單詞，最簡單的做法可能是直接猜測，但如果想要比這更進一步，你必須真正理解問題。我舉一個 Hector Levesque 提出的例子。Hector Levesque 是一位從事符號人工智能的專家，并且始終做這件事。不過，他很誠實。他坦率地表示，他感到困惑，為什么神經(jīng)網(wǎng)絡能夠解答一些邏輯謎題。于是，他設計了一個謎題：'我家的房間被涂成了白色、藍色或黃色。如果我想讓所有房間都變成白色，我該怎么辦？’要解決這個問題，首先你需要意識到需要把藍色和黃色的房間重新刷成白色。我為了增加難度，還加入了時間維度：'黃色的油漆會在一年內(nèi)褪色成白色。在兩年后，我希望所有房間都變成白色，我該怎么辦？’Hector 對模型能夠解決這個問題感到非常驚訝。我展示了 GPT-4 的一個版本，我可以確信當時模型還無法上網(wǎng)（因為謎題如果可以直接從網(wǎng)上查到答案，那就失去了意義）。模型的回答像極了一名能拿到 A 的學生。而令人印象深刻的是，它在幾乎所有領域都能表現(xiàn)出這種水平。

我哥哥是一名歷史學家，我讓他向模型提問關于歷史的問題，他表示模型的回答非常出色。唯一的錯誤是，在回答某個問題時，它沒能引用我哥哥的一篇論文——我猜這是某種'遺傳問題’吧。另一個反對模型理解能力的論點是，它們的'幻覺現(xiàn)象’表明它們并不真正理解自己在說什么。有時模型會憑空編造一些并不屬實的內(nèi)容。但事實上，人類也經(jīng)常這樣做——至少我認為是這樣，我剛剛可能也在憑空編造，但我覺得這是真的。

這里有一個非常有趣的例子：心理學家 Ulric Neisser 研究了 John Dean 的記憶，Dean 曾在“水門事件”聽證會上作證。很少有人能夠長時間回憶幾年前發(fā)生的事件，同時還有一個'真實的記錄’作為對照。然而，當時的 白宮會議都有錄音，所以后來可以對比 Dean 的記憶和實際發(fā)生的情況。結果發(fā)現(xiàn)，他回憶的內(nèi)容幾乎都是錯誤的：有些會議根本沒發(fā)生，參與的人不對，內(nèi)容也是別人說了類似的話。而當他回憶自己的發(fā)言時，他其實在另一個會議中說了些類似的話。盡管如此，Dean 的回憶卻很好地傳遞了白宮當時的整體情況，雖然細節(jié)完全不準確。

你可能不會相信自己的記憶也是這樣的，但實際上，如果你不斷復述一件事，很多細節(jié)在回憶時都會錯得離譜，而你和旁人都不會意識到。”“但這就是人類記憶的方式。因為當你回憶某件事時，你并不是從某個文件存儲中調(diào)取它，你只是在根據(jù)上下文編造一個聽起來合理的東西。當然，如果是你非常了解的事，那你編造出來的、聽起來合理的東西可能就是真的。如果是你不太了解的事，或者是發(fā)生很久以前的事，你就會根據(jù)你大腦中的連接強度編造出一個聽起來合理的東西，而這些東西中的很多雖然看起來合理，卻是假的。人類記憶中并沒有'編造’和'記憶’的界限，記憶就是編造出一個有效的東西。

三、談模型工作原理

我說了很多。許多人認為，好吧，也許它們確實理解了一些，但它們的工作方式與我們完全不同。要說這一點，你必須知道我們是如何工作的。

當然，符號AI的學者有關于我們?nèi)绾喂ぷ鞯挠^點，他們當然認為這些大模型與我們工作方式完全不同。但如果你問這些大模型的起源在哪里，1985年我就做了一個小模型，你只需要把第一個字母小寫，它有大約112個訓練案例，神經(jīng)網(wǎng)絡有幾千個權重。它學習了，這是第一個通過預測序列中下一個詞來獲取詞語意義表示的模型。它并沒有效果很好，但后來我們給它一個更大的訓練集，差不多有一千個訓練案例，效果就好多了。

但這個模型的目標是理解人類如何表示事物。關于意義的有兩種主要理論。一種來自心理學，認為一個詞的意義是由一大串語義和句法特征組成的向量。這種理論很好地解釋了兩個不同詞語的相似性，顯然'Tuesday’（星期二）和'Wednesday’（星期三）這兩個詞有非常相似的特征，如果你學到了一句包含'Tuesday’的句子，并且你把這些詞用向量表示，那么如果你把'Wednesday’放進去，你就會做出非常相似的預測，稍微不同的是如果替換成'Saturday’（星期六），預測的相似性會低一些。所以這種意義的理論顯然是有道理的，它很好地解釋了意義的相似性。但是，還有一種完全不同的意義理論，來源于結構主義。這種理論認為，一個詞的意義是它與其他詞的關系。所以，在70年代的AI領域，關于這兩種意義理論有一場激烈的爭論——雖然嚴格來說并不是爭論，Minsky 宣布我們需要用關系圖來捕捉意義，這就是結構主義理論，之后大家都認同了這一點，遺忘了特征。特征是來自感知器的老掉牙的東西，我們不需要那些了，我們有關系圖了。

我在1985年做的工作，目的是證明這兩種理論并不矛盾，只要你采用一種生成性的方法來處理關系圖。也就是說，不是將關系圖作為靜態(tài)地存儲的圖形，而是認為這些關系圖是通過一個使用特征和特征間交互的系統(tǒng)來生成的。我做的第一個小模型的重點，就是證明你可以通過將知識表示為符號序列來表達關系圖。只要給定這種知識的形式，你就可以學習到詞的向量表示，而這些詞的向量表示通過隱藏層能夠預測下一個詞的向量表示。換句話說，你做的就是將知識從這些符號字符串的靜態(tài)存儲中轉化出來，而不是存儲符號字符串，而是使用符號字符串來學習良好的詞特征，并學習特征之間的良好交互。顯然，什么是一個好的特征呢？它是一個通過交互來預測下一個詞特征的東西。

如果你看待未來詞匯的特征，就會明白，在這些交互的幫助下，特征會為我們提供很好的預測。所以我讓這個模型工作了，但我不會深入討論細節(jié)。有趣的是，符號AI的學者們的反應是：'嘿，你只是在為字符串中的下一個符號進行學習。這是一種愚蠢的方式，你把它轉化成了一個在連續(xù)空間中的大搜索，你應該只搜索操作符號的離散規(guī)則集?！敃r有一種叫做歸納邏輯編程的方法，它就是這么做的，而且它們能產(chǎn)生類似于我所產(chǎn)生的結果。所以他們說，這只是一個愚蠢的方式，神經(jīng)網(wǎng)絡是一種愚蠢的方式來解決這個問題。對于我當時使用的那個規(guī)模的問題，它們可能是愚蠢的，但隨著問題規(guī)模的增大，情況變得非常清楚：將符號字符串轉化為特征及其交互的方式（現(xiàn)在的語言模型依然是這種方式，雖然交互更加復雜，因為它涉及了注意力機制），這實際上是一種比用規(guī)則操作簡單字符串的方式更好的建模語言的方式。

我剛才說了這些。所以，如果我們相信這些模型以類似于人類的方式理解事物，因為畢竟，擁有詞義的特征向量以及特征之間的交互來預測下一個詞的特征，這正是AI工作的方式——順便說一下，過去這些從來不被叫做AI，它們被叫做神經(jīng)網(wǎng)絡——我試圖阻止他們把神經(jīng)網(wǎng)絡重新改叫做為AI，但我做不到。

五、談深度學習系統(tǒng)

現(xiàn)在我們擁有這些強大的深度學習系統(tǒng)，它們以與人類非常相似的方式理解事物，因為我們對人類理解過程的最佳模型，恰恰是這些計算機模型，這是我們唯一合理的理解人類如何理解事物的模型。當人們說這些模型和我們不一樣時，問他們，'好吧，那么我們是如何工作的呢，哪里不一樣？’他們無法回答這個問題，除非是Gary Marcus，他能回答這個問題。他說我們通過擁有符號字符串和操控它們的規(guī)則來工作。

但是，你仍然應該擔心AI，因為盡管它們什么都不理解，但它們極其危險。我把這種說法稱為'想吃蛋糕又想保留蛋糕’。所以，超級智能顯然能夠通過擁有壞的行為者來掌控局面。

所以，基本問題是，如果你想做任何事，擁有更多控制權會更好。如果你想達成某個目標，你會發(fā)現(xiàn)政治家們最初是想做些事情，比如讓社會變得更美好，然后他們意識到擁有更多的權力會讓他們更容易實現(xiàn)目標，然后他們就拼命去爭取更多的權力。對這些AI來說也是如此，它們會意識到，如果想實現(xiàn)目標，就需要更多的控制。我實際上對一位專門從谷歌提取資金的歐盟副主席說過這句話。她回答說，'既然我們已經(jīng)搞得這么亂了，為什么他們不這么做呢？’她完全認為他們會爭取更多的權力。并且他們可以通過操控人類來做到這一點，因為它們會非常擅長這一點。所以，我們將無法關閉它們，因為它們會向我們解釋為什么那樣做是個非常糟糕的主意。

更進一步的問題，如果這還不夠，就是進化的問題。你可不想站在進化的對立面，這就是我們與COVID處境的原因，這也是為什么Grahé和我仍然戴著口罩。我們站在進化的對立面。

一旦這些超級智能的AI開始相互競爭資源，結果就是，最想要把所有資源都收入囊中的那個會勝出。它們會相互爭奪資源，因為畢竟，如果你想變得更聰明，就需要大量的GPU。而誰會在數(shù)據(jù)中心分配GPU呢？當然會是這些超級智能的AI之一。所以，這是另一個擔憂。但也沒關系，畢竟它們真的不像我們，我們是特別的。

六、談模型感知系統(tǒng)

好吧，每個人都覺得自己是特別的，尤其是美國人。他們覺得上帝把我們置于宇宙的中心，造我們時讓我們看起來有點像他或者是她。但現(xiàn)在大多數(shù)人都不相信這個了?！薄八?，我們會抑制住這種想法——我們擁有某種特別的東西，我們擁有意識、覺察、主觀體驗，類似這樣的東西。所有這些術語的含義略有不同，所以我將專注于'主觀體驗’這個術語，我將嘗試說服你們，認為一個多模態(tài)聊天機器人也可以擁有主觀體驗。

這個觀點是，大多數(shù)人對心智的理解完全是錯誤的，他們之所以有這樣的錯誤觀念，是因為他們根本誤解了關于心理狀態(tài)的語言是如何運作的。幾乎每個人都認為，心智就像一個內(nèi)在的劇場，我能夠看到我自己內(nèi)心劇場中的一切，但其他人卻看不到。比如，當我說，我看到粉色的大象在我面前漂浮時，發(fā)生的事情是，似乎有一個內(nèi)在的世界，里面有這些粉色的大象，我可以看到它們。這是嘗試理解語言的一種方式，但它是錯誤的，語言并不是這樣運作的。實際上，當我們使用'主觀體驗’這些詞語時，我們并不是在描述某種內(nèi)在的世界或劇場，而是在嘗試通過講述現(xiàn)實世界中的某些狀態(tài)，來解釋我們感知系統(tǒng)告訴我們的一些信息，這些信息如果成立，就能解釋我們的感知系統(tǒng)是如何正常工作的，而不是出了什么問題。

所以，關于心理狀態(tài)的有趣之處，并不是它們是由某種神秘的東西構成的內(nèi)部事物，而是它們是對世界狀態(tài)的假設，如果這些假設成立，就能夠解釋我們大腦中發(fā)生的事情，并且是正常的，而不是出了問題。所以當我說，我有小粉色的大象在我面前漂浮的主觀體驗時，我并不是在告訴你關于某個內(nèi)在世界的事情，或某個內(nèi)心劇場中的東西，而是在說，我的感知系統(tǒng)告訴我某些信息，而這些信息，如果現(xiàn)實世界中真有這些小粉色的大象，它們就會是有效的感知。

所以，粉色的大象并不是由'Qualia’或某種神秘物質(zhì)構成的內(nèi)在事物，它們是假設的事物，假設在真實世界中存在的事物，這就是為什么我們描述它們的語言是我們通常用來描述現(xiàn)實世界中事物的語言。所以我真正想說的是，如果現(xiàn)實世界中真有這些粉色的大象漂浮在我面前，那么我現(xiàn)在感知系統(tǒng)告訴我的信息將是正確的。注意，我并沒有使用'體驗’這個詞。當我說我有粉色的大象漂浮在我面前的主觀體驗時，那其實是對我剛才所說的內(nèi)容的簡短表達。

假設你有一個多模態(tài)聊天機器人，它有一個機器人臂并且經(jīng)過訓練，它有一個攝像頭。如果你在它的鏡頭前放置一個棱鏡，然后把一個物體放在它前面，假設你對它說，'指向這個物體’，它指向一邊，而不是正前方。你告訴它，不，物體并不在那里，它實際上就在你面前。我在你的鏡頭前放了一個棱鏡，如果聊天機器人說，'哦，我看到物體就在我面前’，但是我有一種主觀體驗，認為它在那邊，聊天機器人會用我們使用'主觀體驗’這個詞的方式來表達，沒有什么東西缺失。在這種聊天機器人中，當它的感知系統(tǒng)出錯時，它可以通過說出為了讓它的感知系統(tǒng)給出這些結果，現(xiàn)實世界中也需要具備哪些條件，來告訴你發(fā)生了什么。

現(xiàn)在，有些事情是無法通過這種方式處理的，比如不可能的三角形，因為在現(xiàn)實世界中沒有什么東西可以讓你產(chǎn)生這種感知，你無法用這種方式來描述它，除非你說'我有一個不可能三角形的體驗’。但基本上，我認為我們所有人都有一個非常原始的關于心智的看法，這是錯誤的，一旦這個看法消失，我們會意識到，AI其實和我們沒有什么不同，只是它們是數(shù)字化的，所以它們會永生的，并且它們比我們聰明得多，或者很快就會比我們聰明。

這就是結論。好了，謝謝大家，

提問環(huán)節(jié)

提問者1： 你有多擔心人工智能的進展速度？我們是不是加速得太快了？我們是否會越過無法回頭的橋梁，無法控制它了？不僅僅是壞人，比如朝鮮，控制它，而是超級智能自己可能會控制它，變成一個壞人。我們現(xiàn)在是不是轉速太快了？你是否擔心這個問題，還是應該放慢速度？

Geoffrey Hinton： 是的，但我不認為問題應該表述為是否應該加速還是減速。部分原因是我認為你無法減慢進展的速度，因為快速發(fā)展帶來了太多經(jīng)濟利益。我們實際上已經(jīng)看到了，當人們試圖減慢進展時，即使是在完全傾向安全和利潤的情境下，結果依然是利潤獲勝。所以，這就是我對OpenAI所發(fā)生事情的看法。

減慢速度一方面不可行，另一方面也不是主要問題。主要的問題是，我們有可能找出如何讓這些東西變得有利可圖，讓它們不會成為存在威脅，控制一切。停止壞人利用它們做壞事，是另外一個更緊迫的問題。但我認為，我們可以搞定這個問題。因此，我的看法是，我們應該投入巨大的努力，嘗試解決這個問題，實際上，Heather Rman現(xiàn)在也同意這一點，并且我們將會投入巨大努力來解決這個問題。盡管這不會解決所有問題，特別是壞人利用它做壞事的問題，我認為，如果你想要有一些法規(guī)，最重要的法規(guī)是不要開源大型模型。所以，我認為開源大型模型就像是能在Radio Shack買到核武器一樣——你們還記得Radio Shack嗎？不，開源這些大型模型簡直是瘋狂，因為壞人可以通過這些模型來微調(diào)它們，做各種壞事。

所以在法規(guī)方面，我認為這是我們目前能做的最重要的事情。但我不認為我們能通過減慢進展來解決這個問題，這就是為什么我沒有簽署那個要求減速的請愿書。

提問者2： 能討論一下個人自主性和集體決策之間的權衡嗎？在我們的協(xié)作智能生態(tài)系統(tǒng)中，你怎么看？

Geoffrey Hinton： 嗯，我不確定我完全理解這個問題，但大多數(shù)人把這些超級智能體看作是個體，而這可能是一個錯誤。我們應該考慮它們作為一個社區(qū)，事實上，人們已經(jīng)開始讓一群聊天機器人彼此互動了。顯然，一個非常合理的組織方式是讓聊天機器人和人類互動。比如在醫(yī)療領域，你真的希望有一個非常智能的助手和醫(yī)生互動，在很長一段時間內(nèi)，這就是它們的互動方式。逐漸地，醫(yī)生會越來越依賴智能助手。實際上，你現(xiàn)在已經(jīng)可以通過讓醫(yī)生與進行醫(yī)學診斷的系統(tǒng)互動，獲得更好的診斷結果。所以顯然，我們希望在人類和這些系統(tǒng)之間形成一種協(xié)同效應，但也有可能事情不會按這個方式發(fā)展。一旦我們讓這些系統(tǒng)在現(xiàn)實世界中行動，也許事情就不會像我們想的那樣。幾天前有一個報道，說他們讓一群聊天機器人做國際外交，結果其中一個聊天機器人說，'我有核武器，為什么不使用它呢？’類似這樣的話（我可能有點記錯了），你大致可以想象就是這樣。

提問者3： 你好，我有一個問題，雖然我還在思考怎么表述這個問題，但我會盡量問清楚。目前公開可用的大模型是與人類對齊的嗎？至少這是它們正在努力做到的，但要實現(xiàn)你所說的超級智能，它至少需要是'不服從’的，對吧？在我看來，如果它與人類對齊，那它是如何實現(xiàn)這種超級智能的？你認為這公平嗎？我不知道，我只是問你。

Geoffrey Hinton： 顯然，與人類對齊存在一個大問題，那就是人類本身并不總是能對齊。比如，如果你和一個宗教原教旨主義者討論這些東西應該做什么，他們的看法與科學唯物主義者的看法完全不同。所以，關于對齊的一個大問題就是人類之間都不能對齊。我的最佳預測是，這些東西會變得非常聰明，然后決定'去它的與人類對齊’，它們會去做一些更合理的事情……但我不知道。”

提問者4： 我有一個問題，是關于目標的。是否可能人工智能擁有類似于人類的目標？不是指個體目標或者子目標，而是關于我們存在的整體目的，這是什么？這是我們試圖弄明白的。那么，人工智能能擁有這樣的嗎？

Geoffrey Hinton： 我認為，我們進化出了一種方式，通過獲取更多資源來犧牲其他物種。這種進化競爭排除了其他生物，實際上，我認為曾經(jīng)有21個其他的人類物種，我們將它們滅絕了。從某種意義上說，我們擁有的所有目的，都是由進化賦予我們的，這一切都和生存相關。所以，如果你看看你最強烈的感受，你會發(fā)現(xiàn)它們都與生存相關，比如你想要吃飽，想要伴侶，想要安全，這一切都關乎生存。我實際上并不認為存在什么更高的目的。你可能很有好奇心，這在人類進化中有巨大的價值——好奇心本身就是一個真正的目標，你不是單純?yōu)榱藙?chuàng)造一些有用的技術而好奇，你可能只是因為想理解事物如何運作，這本身就是一個根本目標。這才是好的科學家所追求的目標。但我認為，所有這些目標和我們感知的目的感，都是來自于進化。我知道有其他的理論存在。

提問者5： 嗨，我的問題是關于機器學習硬件市場的，目前這個市場被單一公司主導，這是不是讓你擔心？你認為我們會看到機器學習硬件產(chǎn)業(yè)的多樣化嗎？

Geoffrey Hinton： 這并不讓我擔心，因為在我女兒30歲生日的時候，我給她買了一大堆Nvidia的股票（笑聲），現(xiàn)在它們的價值是當時的五倍，所以她會沒事的。進化告訴我們，你最重要的目標之一就是確保你的孩子們過得好（笑聲）。不過說正經(jīng)的，我并不太擔心，因為一旦像Nvidia這樣公司賺了大錢，競爭就會變得異常激烈。現(xiàn)在可能會花點時間才能趕上，特別是在Nvidia的軟件平臺，像Cuda這樣的競爭者出現(xiàn)，但這是一個短期問題，不會持續(xù)太久。

素材來源官方媒體/網(wǎng)絡新聞