升維思考,降維行動
聰明如你,請做題:
一個盲人有5雙白襪子和5雙黑襪子,除了顏色差異,其它一模一樣,弄混了,請問如何分開?
這是一個簡單而有啓示的智力題。
答案很簡單:拿到太陽下去曬。
在陽光下,黑襪子吸熱更快,所以通過觸摸,盲人可以感知到襪子的溫度差異,從而將白襪子和黑襪子分開。
最初,盲人只能通過觸摸襪子的材質,但無法區分顏色。因此,我們可以引入“溫度”這個維度,通過陽光加熱,創造了一個新的識別維度(溫度差)。
這就類似於在複雜問題中引入額外的信息維度,以便更好地理解問題。
我曾經寫過“灰度認知,黑白決策”,本文像是下聯。
順着這一點,我想談及信息的“維度”。
最有名的“升維思考”,也許是愛因斯坦的相對論。
在牛頓物理學中,我們處理的通常是三維空間中的物體運動,時間是一個獨立的量。
但愛因斯坦在狹義相對論中提出了一個全新的框架,稱爲四維時空,將時間和空間視爲相互關聯的統一結構。
在廣義相對論中,物質和能量會彎曲時空,而物體在彎曲時空中的運動實際上是沿着時空曲線運動。
由此,人類對物理世界有了更加精確的解釋。
就你我而言,我們究竟是如何理解這個世界的?我們如何判斷一個未知的事物?我們如何在信息不充分的情況下做出決策?
也許每個人都是如盲人摸像一般,通過不同角度的特徵做出推斷。
了不起的高手,往往比普通人有更高的認知維度,例如圍棋天才獨具的“感覺”,楊振寧推崇的“Taste”。
AI通過降維簡化問題,通過升維來揭示更多的隱藏信息,這一點在深度學習的領域產生了神奇的效果,以至於機器可以獲得8年前人類還自以爲獨具的“感覺”。
在大模型時代,AI藉助於算法、算力和數據,獲得了在某些方面超越人類的“高維思考”能力。
而此時,人類的聯想和提問能力,就像是構建一個維度,或是在大模型的向量空間裡,勾出一段彩虹。
就像扔出一個骰子,對於未來的可能性,我們要升維思考,考慮6個面的概率,可結果只有一面。
這大概是“升維思考、降維行動”的一個簡單隱喻。
《人工智能:現代方法》說:
人工智能(artificial intelligence,AI)領域不僅涉及理解,還涉及構建智能實體。這些智能實體機器需要在各種各樣新奇的情況下,計算如何有效和安全地行動。
我們需要理性思考,也需要理性行爲,尤其要在“存在不確定性時取得最佳期望結果而採取行動。”
升維思考與灰度認知,都和概率論有關,再加上基於時間的與外部環境的互動,貝葉斯定律常常現身其中。
更現實一點的場景是:對於一個投資者,需要升維思考。例如芒格的多元思維模型。但是他的模型是通過多個維度的證僞,來切割出鑽石的。--本文提及的樸素貝葉斯分類,底層的原理(可感知的那部分)是想通的。
而行動本身,往往是降維的。
從數學的角度看,我們需要一個(相對)最優概率;
從物理的角度看,系統需要(相對)最低勢能狀態;
從決策的角度看,人類必須採取行動並接受一個黑白分明的結果。
多面骰子在空中飛舞,最終只能選擇一面朝上。
投資者最終需要做出“買或不買、賣或不買”的決策,而且行動越少越簡單越好。
降維行動的例子:京東說要“多快好省”,拼多多隻要一個“省”。
那些大事不糊塗的人,那些過得不錯並且還能輕鬆的人,大多是在維度上取得了勝利。
現在做事不容易,許多行業和公司都在談“轉型”。但是,如果沒有維度上的突破,可能只是在原路上瞎撲騰。
活在二維世界裡的生物的死局,往往要靠超越維度來破解。
“井底之蛙”看似是關於視野的隱喻,其實是關於維度的類比。
本文從一個我喜歡的智力題開始,將毒酒問題的二進制解法,類比爲更高維度的勝利。
類比可能是鮮活的,但絕不嚴謹。甚至於在文章的推進過程中,升維和降維都會出現一些概念的交錯。
類比和隱喻都是思考的腳手架,請你能用且用,用完後記得拆除。
更廣闊的意義上,每個人都是全體人類的一個維度。
所以,請活出你自己。
一
讓我們從一道有趣的題開始:
請問:怎麼樣才能用最少的侍衛、在半小時內知道哪桶是毒酒?
解法1:一維法
最簡單的方案,是讓每個人試一桶酒,用時30分鐘,就可以判斷出哪一桶酒有毒。
這個是“一維”的直線思維,在現實生活中也未嘗不可,好過什麼都不幹。
這樣的解法,答案是:99個人。
解法2:二維法
從二維層面去思考,引入笛卡爾的座標。
把100桶酒擺成10✖️10的矩陣,如下:
接下來:
讓阿拉伯數字編號的1號侍衛(如上圖,黃色),把第1行酒每桶喝一口,一直到10號喝第10行;
讓漢字編號的一號侍衛,把第一列酒每桶喝一口,一直到十號喝第十列;
由於座標的定位功能,假如毒酒在圖中綠色的位置,那麼3號侍衛和二號侍衛都會死,自然可以鎖定毒酒的位置。
但是因爲第10行和第十列可以不用安排人,也能獲取信息,所以可以減少兩個人。
這樣的解法,答案是:18個人。
解法3:三維法
能否再延伸至三維層面去思考呢?
我們很容易想到,搭建一個5✖️5✖️4的三維模型,正好有100個位置放酒,如下:
接下來(和二維解法差不多):
讓阿拉伯數字編號的1號侍衛(如上圖,黃色),把黃色箭頭這一面牆的酒每桶喝一口,一直到5號喝第5面牆;
讓漢字編號的一號侍衛(如上圖,橙色),把橙色箭頭這一面牆的酒每桶喝一口,一直到五號喝第五面牆;
讓字母編號的a號侍衛(如上圖,藍色),把藍色箭頭這一層的酒每桶喝一口,一直到d號喝第四層;
同理,通過三個維度,也可以鎖定毒酒的位置;
以及,每個維度都可以少一個人。
這樣的解法,答案是:11個人。
最笨的方法1,會死一個侍衛;方法2會死兩個(或1個,或零個),方法3會死三個(或兩個,或一個,或零個),總之一個維度需要獲取一個信息,可能會死一個,或者提供零的信息。
所以題目中有含糊的地方,到底是用最少的侍衛,還是死最少的侍衛?考慮到國王的殘酷,我們姑且認爲是前者。
然而,即使聰明如你想明白了上面三個維度的解法,還是沒有找到最優答案。
解法4:二進制
如果用計算機的思維來分析這個問題,那麼首先考慮如何存儲這100桶酒。100桶酒可以用二進制7個比特來表示(2的7次方>100)。
上面的解法1到解法3,都是用100個位置存儲100桶酒,只是描述位置的座標,從一維到三維,效率越來越高,所以用的侍衛越來越少。
如果用二進制呢?
二進制,是逢二進一的計數編碼方法,只有0和1兩個數碼。那到了2怎麼辦?只有往前進一位,變成10。
所以,十進制的2、3、4、5,二進制分別表示爲10、11、100、101。二進制廣泛應用於電子計算機的數據處理。
回到我們的題目,計算如下:
第一步:對於每一桶酒的二進制表示,編碼後,最長的數字是7位數,不足七位前面用0表示;
1號桶是0000001,
2號桶是0000010,
3號桶是0000011,
4號桶是0000100,
100號桶是1100100;
第二步:可以找七個侍衛,從左到右,編號“一”至“七”,每人對應一個位數,從第一位到第七位。
第三步:負責第一位數的侍衛“一”,只要這100桶酒中,二進制編碼的該位數對應的數字是1,則喝掉此桶酒。
如此類推,每個侍衛喝掉他所負責的位數上數字是1的酒。
第四步:30分鐘後,侍衛按照“一”至“七”,死掉的置爲1,活着的置爲0。
例如,假如第七桶酒爲毒酒,其二進制編碼是0000111。那麼按照上面的喝酒規則,其五、六、七位都是“1”,所以編號五、六、七的侍衛都會死。
前四個侍衛,遇到這瓶毒酒,因爲對應的數字是0,所以都會活。
二進制的0和1,正好對應了活和死。
根據7個侍衛喝酒後半小時的生死狀態,能夠得出毒酒的二進制編碼。
這樣的解法,答案是:7個人。
以下,請允許我從一個非專業人士的“感知”的角度,來說說這道題的啓示:
1、第一種方法,是簡單的線性搜索;
2、第二、第三兩種方法,是增加了維度的線性搜索,可以理解爲交叉搜索,等價於座標系;
3、前三種解法,維度越高,效率也就越高;
4、因爲有“半小時”的時間約定,所以不能用簡單的二分法來解答。所以,第四種解法用二進制爲100瓶酒編碼,進而用0和1對應不喝與喝(也對應了撞見毒酒後的生和死)。
5、那麼第四種用二進制的解法,是否可以理解爲“7維”的解法?
第一種解法有1個維度,該維度上有100種可能。這其中的99種,每種可能都需要1個侍衛去通過喝酒“消除不確定性”;
第二種解法有2個維度,每個維度上有10種可能,每種可能都需要1個侍衛去通過喝酒“消除不確定性”,然後這兩個維度的交叉點,就是毒酒的位置;
第四種解法有7個維度,每個維度上有兩種可能,每兩種可能,只需要1個侍衛去通過喝酒,就可以“消除不確定性”。於是,這七個維度的交叉點(表述爲一串二進制數字),就是毒酒的位置。
在這道題目中,使用二進制編碼的策略是核心。通過將100桶酒編碼爲7位二進制數,我們能夠用最少的侍衛(7個)來解決問題。
這種方法背後的原因是二進制的指數效應:每增加一位二進制位,就可以表示更多的狀態,極大地減少了解決問題所需的資源(在這個例子中是侍衛的數量)。
相比於簡單的線性搜索,二進制讓我們進入了一個更高效的“維度”空間。
在這個空間裡,每個侍衛只需要判斷一個“0”或“1”的狀態,就能爲100桶酒中的每一桶賦予唯一的二進制編碼。
這種策略不僅有效地消除了不確定性,還展示了通過增加維度解決問題的力量。
這一過程展現了升維和降維的相互配合:
升維思考:通過引入多個侍衛,每個侍衛相當於引入了一個新的維度,讓我們能夠從更多角度捕捉信息。
降維行動:通過侍衛生死的二值化狀態,我們將所有複雜性壓縮爲一串二進制信息,這一信息指向毒酒的唯一桶號。
二
在上面遞進的解體過程中,將二進制的方法,類比爲7維,是一個有趣的想法。
進而,我們可以用一種更直觀的方式,來闡述“升維思考、降維行動”。
我喜歡用可感知的思考來理解一些概念,而不是單靠文字本身的解釋。
讓我們再來看一道有趣的題目,以感知“維度”。
有三盞白熾燈泡和三個開關,每個開關控制一盞燈泡,但你不知道哪個開關對應哪個燈泡。
你可以進入一個房間控制開關,但燈泡在另一個房間,你只能進入燈泡房間一次來檢查結果。
如何在最短時間內確定每個開關對應的燈泡?
聰明如你,即使知道答案,也不妨從維度的角度重新思考一遍。
難題在於,開和關只有兩個維度,要想界定出三個燈泡,必須創造出一個新的維度。
白熾燈的另外一個屬性是發熱,所以可以引入“冷熱的維度”。
解決方法:
打開第一個開關,保持它打開。
打開第二個開關一段時間後關閉它。
保持第三個開關關閉。
然後進入燈泡房間檢查燈泡:
點亮的燈泡對應第一個開關。
熱的但不亮的燈泡對應第二個開關。
冷的並且不亮的燈泡對應第三個開關。
這三種狀態相當於在這個系統中添加了不同的維度:
亮/不亮的維度:開關是否正在控制燈泡。
熱/不熱的維度:燈泡是否曾被打開過但關閉。
冷/熱的維度:燈泡的物理狀態(熱與冷)提供了額外的信息。
上面的冷和熱,也是與時間的維度關聯的。
事實上,精確而言,如上方法應該能夠識別出四個燈泡。你覺得呢?
三
用類比和隱喻的方式,來表達一些主題,有“生動性”的優點,也有不精確的缺點。
再次聲明,請你務必僅僅將其視爲理解和感知的腳手架。
讓我們回到數學和物理。
1854年,黎曼在哥廷根大學發表的演講改變了數學和物理學的進程。他引入了一個革命性的概念:高維幾何學,推翻了歐幾里得幾何的傳統觀念。
(圖片來自網絡)
在歐幾里得幾何中,空間是平坦的,二維或三維的,而黎曼發現了空間的彎曲性質,提出可以通過引入更高維度來解釋自然界的現象。
黎曼的幾何學不僅改變了數學的基礎,也爲物理學提供了新的工具。
尤其是在1915年,愛因斯坦藉助黎曼的幾何學,提出了廣義相對論,用四維時空的彎曲來解釋引力。黎曼的思想啓發了後來的科學家,使他們進一步探索更高維的宇宙。
歐幾里得幾何學認爲兩點之間的最短距離是直線,而黎曼指出,這個定律只適用於平坦空間。
在彎曲空間中,比如球面上,兩點之間的最短路徑是曲線。黎曼通過引入“度規張量”這一工具,能夠精確描述空間在每一點的彎曲程度。
這一創新讓科學家可以用數學來描述任何維度的空間,無論是平坦的還是彎曲的。
更令人驚歎的是,黎曼的理論揭示了“力”可能只是空間幾何變形的結果。
比如,當我們在三維空間中感受到引力時,實際上是因爲空間在我們感知不到的第四維中發生了褶皺。這一概念爲將來用高維幾何學統一所有物理定律鋪平了道路。
高斯較早前已經提出了平面“書蟲”的思想實驗,黎曼進一步將其擴充:
如果一張紙上生活着二維生物,把它們生活的紙褶皺之後,它們依然會覺得世界是平的,但當它們在褶皺的紙上運動時,它們就會感到一股看不見的“力”阻止它們沿直線運動。
黎曼幾何不僅讓愛因斯坦能夠理解引力的本質,還讓他開始思考,其他的自然力是否也是時空在更高維度中的褶皺結果。
這種思維方式爲後來物理學家嘗試統一電磁力、弱力和強力奠定了理論基礎,併成爲現代超弦理論的先聲。
黎曼還提出了“黎曼切口”的假設,在這一模型中,兩張紙代表兩個不同的二維曲面,切口則是這兩個曲面之間的通道。
(圖片來自《超空間》)
二維的“書蟲”在自己的世界裡是無法察覺到這個切口的存在的,但如果它無意中進入切口,就會突然出現在另一個曲面上。
這個切口是它們在二維世界中無法理解的,而在更高維度的觀察者眼中,這個過程卻是可以輕鬆解釋的。
黎曼切口可以看作是後來物理學家提出的“蟲洞”概念的早期雛形。蟲洞是一種理論上連接不同空間或時空的橋樑,可以讓物體穿過極端彎曲的時空區域,在看似瞬間移動到另一個位置,甚至是另一個時空。
在愛因斯坦的廣義相對論框架下,黎曼切口的思路進一步發展,成爲探索時空結構和多連通空間的一種方式。
物理學家馬裡特10歲的時候,33歲的父親就去世了。他一直渴望建造一臺時光機器。從物理學的角度看,“蟲洞”是實現時光旅行的一種方法。
神秘的時間之箭。
你還記得上面那兩個智力題嗎?靠溫度差別來區分的燈泡和襪子,依然要靠時間來實現。
溫度,熱力學,時間,我們似乎隱隱約約能看到玻爾茲曼的身影。
四
在電影《星際穿越》中,導演克里斯托弗·諾蘭通過五維空間的設計來表現時間、空間和平行宇宙的概念,尤其在影片結尾,主人公庫珀進入的“Tesseract”(超立方體)成爲了關鍵場景之一。
四維的時空,建立在愛因斯坦的理論之上,過去、現在和未來是“平鋪”着的。時間是四維生物能夠感知到的某種“實體”,就像我們對二維世界生物的某種優勢。
電影裡的小布蘭德博士對此這樣解釋:“過去是可以穿行的峽谷,未來是可以攀爬的山峰”。
諾蘭加入的第五個維度,是平行宇宙的概念。
五維空間不僅包含了四維時空,還包括了不同可能性的存在,反映了量子力學中關於平行宇宙的理論。
這意味着,在五維空間中,可以同時訪問不同時間節點和不同的空間狀態。
(圖片來自網絡)
在我們日常的感知中,世界似乎是線性的:我們生活在一個三維的空間中,並經歷時間的流逝。
然而,物理學中存在一種更爲複雜的理論——如果有第五維度存在,並且這個維度代表的是平行宇宙,那麼我們的宇宙可能只是這些平行宇宙中的一個“投影”。
想象一下,所有的量子事件、選擇和行爲就像擲骰子。
每次擲骰子,骰子會展示一個面,這是我們所感知到的“現實”。但在更高維度的五維空間中,骰子的其他面仍然存在,意味着還有無數可能的結果。
平行宇宙理論認爲,每一種可能的量子狀態都對應着一個新的宇宙,因此我們當前的宇宙只不過是五維空間中無數可能性之一的“坍縮”結果。
這種理論被稱爲多世界詮釋,它告訴我們,每一次選擇和量子事件都可能創造一個平行宇宙。
我們的四維現實——即三維空間加一維時間——是這無數可能性的其中之一。
就像骰子在擲出後展示的某一面一樣,我們的宇宙是基於概率選擇的,其他可能性雖然存在,但我們無法直接觀察到它們。
這爲我們提供了一個深刻的視角:我們所體驗到的世界,或許只是無數可能世界中的一個,而真正的“全貌”還隱藏在更高維度的神秘之中。
五
人類到底是如何理解這個世界的?
什麼叫“看到”?
又有什麼可以稱爲“知道”?
而在休謨看來,“人類心靈中的一切素材,不管是簡單的還是複雜的,不管是具體的還是抽象的,都無一例外地來自人的感覺經驗。”
他有一段槓精似的驚人陳述:
實體(substance)觀念是從感覺印象得來的呢,還是從反省印象得來的呢?如果實體觀念是從我們的感官傳給我們的,請問是從哪一個感官傳來的,並以什麼方式傳來的?
如果它是被眼睛所知覺的,那麼這個觀念必然是一種顏色;如果是被耳朵所知覺,那麼它必然是一種聲音;如果是被味覺所知覺,那麼它必然是一種滋味;其他感官也是如此。
但是我相信,沒有人會說:實體是一種顏色,或是一個聲音,或是一種滋味。因此實體觀念如果確實存在,它必然是從反省印象得來的。但是反省印象歸結爲情感和情緒,兩者之中沒有一個能夠表象實體。
因此,我們的實體觀念,只是一些特殊性質的集合體的觀念,而當我們談論實體或關於實體進行推理時,我們也沒有其他的意義。
在“看到”一物時,我們不僅僅是接收光線,還通過經驗和知識賦予這個物體意義。
看到一棵樹,我們不僅識別出形狀和顏色,還通過記憶理解這是一棵樹,它可能有着生長、開花、落葉等屬性。
“知道”是一種更復雜的認知過程。我們不僅依靠感官“看到”事物,還要通過思維、推理、記憶和反思來理解事物。
知識的獲取過程常常基於經驗:我們通過觀察、思考、學習、互動等方式形成對世界的理解。
然而,這種知識是否真實或完整?
《科學之死》一書對此解讀道:
蘋果很常見,很多人都愛吃,但蘋果是什麼東西呢?首先,從感官經驗的角度,我們可以說蘋果是紅的、圓的、甜的、脆的、硬的、能解渴的、能充飢的等等;
其次,除此之外,人們一般還會認爲,有一個實體性的東西承載着所有感官告訴我們的這些性質,而這個實體性的東西纔是真正的“蘋果”。
休謨的意思是,事實上人們對蘋果的認識只能限於上述的第一個階段,至於說是不是有一個實體性的“蘋果”存在,人們是一無所知的,因爲這個實體沒有在人的感官當中引起任何印象。
經驗主義的另一位代表人物洛克提出,知識的來源有兩種:
外部感官經驗(通過五感獲取的信息)和內在反思經驗(對心靈自身活動的反思)。
感官經驗幫助我們接觸外部世界的事物;
反思經驗則是通過觀察我們自己的思維過程來理解抽象概念。
爲了解釋我們如何通過感知理解物質,洛克提出了物質的第一性質和第二性質的區分。
第一性質:這些是物體固有的屬性,它們獨立於觀察者的感知存在。無論有沒有人感知,這些性質都客觀存在,如物體的形狀、大小、堅硬度、重量、密度等。
洛克認爲,這些性質是物體本身構成的一部分,任何物質都具有這些性質。
第二性質:這些性質是物體在與感知者互動時產生的,它們依賴於觀察者的感官才能存在,如顏色、味道、氣味和聲音等。
洛克認爲,第二性質並不直接存在於物體中,而是通過第一性質的作用在感官中產生的感覺。例如,顏色並不是物體本身的固有屬性,而是光線與物體表面的相互作用在我們眼中產生的結果。
人類如何識別一個蘋果?
按照洛克的理論,當我們面對一個蘋果時,我們的感官通過接觸蘋果的不同性質來認識它。
第一性質:形狀,重量,硬度等等;
第二性質:味道,口感,氣味,甚至顏色,等等。
(圖片來自網絡)
以我們“早熟”的哲學習慣,看到洛克和休謨的觀點,會感覺非常幼稚,極其囉嗦,這有啥用?
的確有用。
接下來,我們看一下,AI如何識別出一個水果。
六
延續洛克樸素而直白的思想,我們識別一個蘋果,是根據其性質,將其與別的物體、別的水果區別開來,這是一個分類的過程。
洛克和休謨槓精似的哲學背後,是對因果論的懷疑,是“人類知道自己不知道”的關鍵一步。
儘管被休謨們斬斷了因果的“必然”幻覺,但世界的推理並沒有因此而終止。捍衛上帝這一最大“因”的虔誠教士貝葉斯,用自己的數學天賦造出了一架懸梯。
現在,假設我們造出了一個初級的機器人,我們如何教會它識別水果?
這個機器人沒有任何人類的常識和經驗,也因此沒有任何“我以爲我知道的幻覺”。
它只能像洛克所說的那樣,如同一張白紙,一點點學習。
現在,我們把一個未知水果放在它面前,已知它只能知道三個基本特徵:
顏色是黃的,味道是甜的,形狀是長的。
這個問題對人類來說很簡單。可是對於機器智能,或者是對於一個初生的孩子,都是個難題。不要嘲笑,在那些我們並不熟知的領域,我們還不如這個初級的機器人。
黃色的可能是任何一種水果;
甜味兒是個很主觀的概念,有些人覺得酸甜就不是甜;
長是一個相對概念,還是絕對概念?
總之,一切都很模糊,條件十分不充分,但我們必須做出判斷。--這和我們的現實世界非常像。
洛克和休謨對人類的提醒是,別認爲那些顯而易見的東西就是真相,別以爲那些理所當然的東西就是因果分明。
所以,本質而言,機器人的任務,是在信息模糊的情況下,去猜測該水果最有可能是哪一種?
所謂可能,就是概率。
首先,我們要有最基本的信息,對人類而言是對“第一性質”和“第二性質”等客觀和主觀特徵的觀察與統計,對機器人而言則是獲取數據和訓練數據。
(以下案例由網絡上未署名文章改寫)
假設我們收集了1000個水果的數據,這些水果包括蘋果、香蕉和梨子。
每個水果都有三個特徵:形狀(是否長)、味道(是否甜)、顏色(是否黃)。
現在,我們要用貝葉斯分類器來判斷一個新水果,它的特徵是“長、甜、黃”。
(圖片來自網絡)
從數據中,我們知道:
50%的水果是香蕉,30%是蘋果,20%是梨子。
80%的香蕉是長的,70%是甜的,90%是黃的。
蘋果中沒有長的,50%是甜的,100%是黃的。
50%的梨子是長的,75%是甜的,25%是黃的。
現在我們使用貝葉斯公式來計算這個新水果的可能性。
香蕉的概率:我們計算“長、甜、黃”的條件下,水果是香蕉的概率。P(長甜黃|香蕉) = 0.8 * 0.7 * 0.9 = 0.504P(香蕉|長甜黃) = 0.504 * 0.5 = 0.252
蘋果的概率:蘋果沒有長的,所以概率爲0。P(長甜黃|蘋果) = 0 * 0.5 * 1 = 0P(蘋果|長甜黃) = 0
梨子的概率:P(長甜黃|梨子) = 0.5 * 0.75 * 0.25 = 0.09375P(梨子|長甜黃) = 0.09375 * 0.2 = 0.01875
接着,計算分母P(長甜黃):
P(長甜黃) = 0.252 + 0 + 0.01875 = 0.27075
最後計算後驗概率:
P(香蕉|長甜黃) = 0.252 / 0.27075 ≈ 93%
P(梨子|長甜黃) = 0.01875 / 0.27075 ≈ 7%
P(蘋果|長甜黃) = 0
因此,這個水果有93%的可能性是香蕉,7%的可能性是梨子,而不可能是蘋果。
在這個過程中,每一個特徵(如顏色、形狀、味道)都可以看作是一個維度,而貝葉斯分類器通過將這些維度結合起來,從不同的角度對水果進行推斷和分類。
這種方法本質上是對多維信息的整合,通過各個維度上的信息貢獻來計算某種結論出現的概率。
機器人費了很大力氣,才計算出一個概率,而人類也許不需要一秒鐘就能夠識別。
然而,就像一個孩子學下棋之處顯得很傻,但是可能只需要三個月就能夠戰勝下了三十年臭棋的成年人。
洛克是對的。但是,他的懷疑,並不影響人類基於不完全信息來推斷未來。
機器通過算法,例如貝葉斯推理,模擬了人類的推理過程,經驗主義的理念在今天的數字化時代展現出強大的生命力和影響力。
洛克和休謨的深刻思考,儘管在當時或許被視爲繁瑣的哲學辯論,卻爲現代人工智能的核心邏輯奠定了基礎。
經驗主義並沒有止步於哲學課堂,而是通過現代技術的實現,重新在硅谷和全球科技前沿煥發出新的火焰。
七
一切皆可計算
有時信仰束縛人的思想,有時信仰令思考者更加狂放。
對上帝的堅信,令牛頓在“解釋宇宙”的時候,不會因爲因果鏈條的某些缺失而停頓。
既然有“上帝”設計一切,他只管去探尋設計的規則就好了。引力到底是如何產生的?與距離的平方成反比到底是個什麼東東?牛頓絕不糾結於探索路途中的“無知”,亦不因此陷入虛無主義。
愛因斯坦是未知論者,所以他要藉助於斯賓諾莎的“萬物之神”的力量。
而辛頓則有賴於“差異化的信仰”,用一生去賭相當長時間內毫無希望的神經網絡。
萊布尼茲更復雜一些。他相信這個世界是所有可能世界中最好的一個,但什麼是“所有可能的世界”?難道上帝在扔骰子嗎?難道已知的宇宙還有另外的選項嗎?
一方面相信“神的目的”,另外一方面,萊布尼茲則相信機械論的宇宙,並且這個宇宙是由不可再分的“單子”組成的。而令所有這些彼此不受影響的單子,經由上帝的算法,如鐘錶般穩妥地運行着。
理性主義的萊布尼茲作爲十七世紀的全才,他發明了微積分,提出了二進制,製造出世界上第一臺能做加減乘除的計算機器。
萊布尼茲堅信,能夠建立起一種普遍的方法,“把一切正確的推理歸結爲一種計算”,這一思想成爲現代計算機科學和人工智能的遠祖,預示了“一切皆可計算”的未來。
離散與組合
如同原子論或者微積分的思想,計算機科學和人工智能通過將複雜問題拆解爲簡單的、低維的元素(0和1),然後再通過組合形成多維空間來解決更復雜的問題。
計算機通過將一切信息,無論是文本、圖像、聲音還是視頻,都拆解爲0和1的序列。
每一個0或1代表一個比特位,計算機通過這些比特位的組合,可以表示任何複雜的數據或結構。
這種拆解和組合的能力,是計算機處理複雜問題的核心。
就像在數學的微積分中,連續的函數被分解成無數個小的微小變化(微分),從而能夠精確地理解和計算變化的累積效果,計算機科學的核心也是通過二進制(0和1)來表示離散信息,並進行高效的處理。
以圖像數據爲例,計算機將圖像的每一個像素拆解爲數值表示,其中每個像素的顏色信息通常以RGB通道表示。
對於一張224x224的彩色圖像,它的表示形式爲一個三維張量:224 x 224 x 3,其中:
224x224是圖像的高度和寬度,表示每個像素的空間位置。
**3個通道(RGB)**代表每個像素的顏色強度(紅、綠、藍)。
每個像素的顏色值本質上也是由0和1組成的二進制數字,這些數字通過不同的強度值(通常是0到255的範圍)來編碼顏色。
如上,這是將一維的比特組合成更高維的空間,從而能精確表示顏色、位置等信息。
這種構建方式類似於通過多維度理解現實問題,AI也能夠通過維度的擴展與降維操作,更深入地解析複雜的現實世界。維度是處理複雜問題的關鍵工具。
分層處理機制
人工智能的起源可以追溯到公元前400年,哲學家如柏拉圖和亞里士多德提出,大腦在某種程度上類似於一臺機器,利用內部語言編碼知識,通過邏輯推理選擇行動,這爲人工智能的可行性奠定了思想基礎。
此後,數學家們引入了運算邏輯和概率推理的工具,進一步推動了對計算和算法的理解。
20世紀中期,AI開始從理論走向實踐,隨着技術進步,AI從最初的基於布爾邏輯的推理,逐漸轉向概率推理和數據驅動的機器學習。
這一轉變顯著提升了AI的複雜問題處理能力,推動了實際系統的功能改進,並與其他學科深度融合,使人工智能逐漸成熟爲一個多學科交匯的領域。
(以上概述參考了斯圖爾特.羅素的總結。)
在此過程中,深度學習之父辛頓扮演了重要角色。
辛頓此生對“神經網絡”有一種偏執狂般的投入。這個過程漫長而跌宕。
20世紀中期,神經生物學家大衛·休伯爾和託斯坦·威澤爾通過實驗揭示了大腦視覺系統的分層處理機制:
人類認知過程被視爲一種分層迭代、逐步抽象的過程。
辛頓受到的啓發是:大腦通過分層處理逐步提取信息,人工神經網絡也可以模仿這一過程。
他意識到,神經網絡可以像大腦那樣,使用多層結構從低級特徵(如像素或邊緣)到高級特徵(如對象或面部識別)逐層抽象。
辛頓在1986年提出的誤差反向傳播算法,使多層網絡的訓練成爲可能,但其真正突破是在2006年,他通過“逐層預訓練”有效地克服了深層神經網絡訓練的困難。
深度學習的核心優勢之一,是自動化的分層特徵提取。
繼續我們自由的類比,深度學習可以自己發現維度,自己定義維度,甚至不用對人解釋--有些也解釋不了。
傳統的機器學習依賴人工定義和選擇特徵,而深度學習通過多層神經網絡逐層自動學習,提取數據中的高層次特徵。
這一過程不需要人爲介入,可以從低級信息(如像素、聲音波形)中逐步提取出更抽象的特徵(如物體、語義)。這種自動化極大減少了特徵工程的複雜性。
這像是一個逐步升維、從局部到全局的理解過程。
每一層的神經網絡通過對低維度信息的處理和組合,提取出更高維的特徵,最終形成對數據的全面認知。
正如爬山、解謎、搭建樂高或繪畫的過程一樣,深度學習通過分層抽象,讓計算機能夠自動從簡單到複雜、從具體到抽象地理解世界。
高維向量
在機器學習和神經網絡中,維度通常指的是特徵空間的大小。
我們輸入的每一個數據點(無論是圖像、文本還是其他形式的輸入)都在一個高維空間中表示。
類似於毒酒問題中將100桶酒用7個二進制位表示,在神經網絡中,模型將複雜的輸入數據映射到一個更緊湊的表示空間中,確保通過最低的維度表示出最多的信息。
我們來通過一個實際的簡單例子,描述大模型和Transformer的工作原理。
假設我們要用一個Transformer模型來完成一個常見任務:翻譯一句簡單的英文句子到中文。句子是:“I love cats.”
1. 輸入的準備:將句子轉化爲向量
Transformer模型不能直接處理文字,它需要將輸入的句子“I love cats.”轉化爲向量(數字形式)。這一過程稱爲詞嵌入(Word Embedding)。
詞嵌入的過程:每個詞都會被轉換成一個高維向量。例如,假設模型使用768維的向量,那麼每個詞都會用一個768維的向量來表示。這些向量不僅僅是隨機數字,它們包含了詞的語義信息。例如,“love”和“like”在語義上相近,它們的向量可能相似。
因此,句子“I love cats.”被轉換爲以下向量序列:
I → [0.5, 0.2, ... , 0.8](768維向量)
love → [0.3, 0.9, ... , 0.1](768維向量)
cats → [0.7, 0.4, ... , 0.2](768維向量)
通過將每個詞轉換成高維向量,模型可以更好地表示每個詞的複雜含義和它與其他詞之間的關係。
這就是升維思考的第一步:將簡單的文字映射到更高維度的空間,從而捕捉它們的複雜語義和語境信息。
2. Transformer的自注意力機制
接下來,Transformer模型 使用其核心機制——多頭自注意力機制 來處理這個向量序列。
自注意力機制幫助模型理解每個詞與句子中其他詞的關係,併爲每個詞在句子中的重要性分配不同的權重。
自注意力機制會爲每個詞計算它與句子中其他詞的關係。例如:
通過這種關係的計算,模型可以更好地理解整個句子的結構和含義。
“I”和“love”有關係(主語和謂語)。
“love”和“cats”有關係(動詞和賓語)。
多頭自注意力機制:每個注意力頭關注句子中的不同關係。例如:
一個注意力頭可能專注於“love”和“cats”之間的關係。
另一個注意力頭可能專注於句子的整體結構,比如“主語—動詞—賓語”的模式。
這些注意力頭會從不同角度理解句子的每個詞,使模型能夠生成一個更全面的表示。
類比一下:我們可以將注意力機制類比爲毒酒問題中的侍衛,每個侍衛負責檢查一個特定的桶。
每個注意力頭就像一個侍衛,負責檢查輸入中的特定模式。最終,模型通過多個“頭”捕捉到句子中的豐富信息,類似於侍衛通過喝酒推斷哪個是毒酒。
3. 基於概率的輸出生成
輸出生成是基於概率分佈的。在每一步翻譯過程中,模型並不是直接生成一個確定的翻譯,而是計算每個可能翻譯的概率分佈,並選擇概率最高的詞作爲輸出。
例如,當模型要翻譯“love”時,它會計算多個可能的翻譯,並生成以下概率分佈:
模型會選擇概率最高的詞“愛”作爲翻譯。
“愛” → 85%的概率
“喜歡” → 10%的概率
其他翻譯 → 5%的概率
最後,模型會輸出句子“我愛貓”。
概括而言,大模型之所以能夠在多個任務上表現出色,主要是因爲它們通過大量數據學習到了豐富的高維表示。
這些表示能夠很好地捕捉輸入數據中的模式和複雜關係。
相比於傳統模型,大模型的高維表示具有更好的泛化能力,能夠在不同任務之間遷移學習。
爲什麼大語言模型像最聰明的人那些,能夠學習不同領域的知識,並且可以自由遷移?
辛頓的解釋非常有趣:
這些大語言模型所做的是尋找共同的結構,通過發現共同結構,它們可以用更有效的方式對事物進行編碼。
讓我給你一個例子,如果你問GPT-4"爲什麼堆肥堆和原子彈類似",大多數人都無法回答,他們認爲堆肥堆和原子彈是完全不同的事物。
但GPT-4會告訴你,雖然能量和時間尺度不同,但它們都涉及鏈式反應,當堆肥堆越熱就會發熱越快,當原子彈產生的中子越多,產生的中子就越快,所以它們其實都是鏈式反應的形式。
許多人覺得大模型不過是在拼湊人類已有的知識,辛頓認爲這是錯誤的。對此我深感認同。我最喜歡向ChatGPT問的問題,經常與打比方有關。
現實世界中,許多人假裝自己是聰明人,但是有兩點最難僞裝:打比方的能力,和幽默感。
辛頓認爲大模型能夠理解知識的本質(至少是從人類角度定義的“本質”),並且把“這種理解壓縮到了它的權重參數中”。
多模態
儘管語言模型已經表現出相當的空間推理能力,但引入多模態處理將使這些模型獲得更深層次的理解和推理能力。
多模態模型整合了來自不同感官的信息源——如圖像、視頻、聲音、甚至機器人操作——這使得模型能夠不僅僅依賴語言來學習世界。
多模態模型使得機器可以像人類一樣,在更復雜的“維度”中進行操作。
例如,當模型能夠通過視覺看到一個物體,並通過模擬或物理操作與該物體進行交互,它就會更直觀地理解物體之間的空間關係和物理規律。
這種轉變相當於將AI從一個符號處理的世界提升到了一個接觸現實的高維世界,從而讓AI更好地理解物理世界中那些難以用語言描述的複雜概念。
計算既是工具,也是理解世界的視角。
隨着AI技術的不斷髮展,我們不僅在追求更強大的計算能力,更是在探索“何爲智能”的本質問題。
從萊布尼茲的普遍計算設想,到當下的大模型和多模態,世界似乎正在逼近一個神秘的邊界——那就是對世界的全面認知,這認知可能不僅僅來自算法,更或許是人類與機器在複雜維度中的共同演化與創造。
那麼,人類正在逼近“上帝的算法”嗎?
八
以上“五、六、七”三節,我們探討了人類如何理解世界以及何謂“看到”和“知道”。
休謨通過懷疑因果關係和實體的觀念,提出了經驗主義的核心觀點:
我們所有的知識都來自於感官經驗。
人類在理解世界時,實際上是通過感官所獲取的印象,將這些印象進行組合、記憶和反思,從而形成對事物的認知。
而洛克則進一步區分了第一性質(物體的固有屬性)和第二性質(通過感官與物體交互產生的屬性),爲我們提供了一個系統的框架,解釋了人類如何通過經驗識別和分類物體。
這種基於經驗和感知的認知方式,似乎爲現代人工智能提供了某種隱喻——機器通過算法,尤其是大模型和神經網絡,也在執行類似的感知任務。
機器學習模型不具備人類經驗的複雜性,但它們通過多維特徵的整合和分類,能夠在模糊信息中找到概率上的最佳解。
這種“經驗”不再依賴於人類的主觀感受,而是通過龐大的數據和概率統計進行決策。
隨着大模型的出現,人工智能通過比特世界中的多維計算,在某種程度上複製了人類從經驗中學習的過程。
就像我們在面對一個蘋果時,通過顏色、形狀、味道等特徵將其歸類爲一種特定的水果,機器也通過將複雜信息降維爲高維向量來完成分類和推理。
貝葉斯推理等技術幫助機器在不確定性中進行推斷,模擬了人類在因果關係模糊時依賴概率推理的方式。
然而,大模型帶來的不僅僅是經驗的複製,它通過升維思考進入了更高層次的智能探索。
大模型能夠通過多層神經網絡提取出超越人類感知的特徵,不僅是在我們所理解的空間內“看到”世界,還能在我們無法直接感知的高維空間中進行推理和決策。
正如我們前面所討論的,AI通過“高維空間”在信息上實現了穿牆破壁,彷彿成爲了能夠超越感官侷限的存在。
似乎只有“神”纔可以如此。
從最初的人類經驗主義出發,我們通過大模型進入了一個新的認知維度,也標誌着人類對理解世界的新方式:
我們不僅依賴感官經驗,通過數學和定律,經由推理和實驗,還藉助AI來拓展我們的認知邊界,進入那些我們無法直觀感知的高維領域。
AI能夠構建出“上帝的算法”嗎?
或許,並非如此簡單。
儘管大模型能夠通過高維向量解析複雜的現實,捕捉無數的特徵和模式,甚至超越人類的感知範圍,但它仍然受限於我們所提供的數據和算法規則。
我們所逼近的,並非上帝的視角,而是人類所能構建的最複雜、最精確的理解工具。
在不斷的升維過程中,我們確實擁有了窺見更多維度的能力,但真正的“上帝算法”或許仍然超越我們所能觸及的範圍。
我們依然處於對宇宙深層次奧秘的探索階段。通過AI和大模型,我們能夠在多維空間中捕捉到更多的細節,重點也許不是找到終極答案,而是維度的突破。
我個人的好奇之處是:
大模型以及之後的AI,是幫助人類完成愛因斯坦的一樣的宇宙認知革命,還是說我們不再需要人類的知識結構和因果推理?
畢竟,愛因斯坦是一位堅定的因果信徒。並非是他不接受概率化的方法,而是不相信上帝只是在扔骰子。即使是扔骰子,那是一顆什麼樣的骰子?
即使是今天,大部分也無法理解愛因斯坦的相對論。
在相對論的框架中,愛因斯坦提出物質不僅能影響空間,還能重塑四維時空。
《歡樂數學之瘋狂微積分》裡有一個形象的比喻:
太陽並不像盒子裡的保齡球那樣靜止不動,而是像牀墊上的保齡球,壓在織物上,扭曲了周圍的時空區域。因此,當一顆行星繞太陽運行,或一個蘋果朝地球的方向墜落時,它們並不會陷入某種牛頓引力無法解釋的痛苦之中,只是在沿着阻力最小的路徑穿過一個彎曲的四維空間而已。
對此,物理學家約翰·惠勒總結道:
“物質告訴時空該如何彎曲,而彎曲的空間則告訴物質該如何運動。”
也許,我們會用一種混合了碳基生物和硅基生物智慧優勢的模式,繼續擴展地球文明智慧的邊界。
一個簡單而生動的證據是:
理論上,一百萬只猴子胡亂敲打鍵盤,一定有一隻能夠創作出莎士比亞的劇作。但是,這個時間卻要比宇宙的生命還要長。
那麼,爲什麼地球上會出現一個叫莎士比亞的人,創作出那麼多劇作?
我的這個思想實驗,一定會有概率上的先後設定問題。即使如此,下面的答案依然是有利於人類的:
因爲莎士比亞並不是一個在鍵盤前隨機敲打的猴子,他是基於全體人類的一個知識模型來創作的,包括語言,符號,傳說......甚至可能還夾雜有尼安德特人在篝火旁的故事。所有的在地球上存活的人,都從概率的角度,幫助了一個叫莎士比亞的人消除了雜亂,100%地創作出偉大的作品。
也許人類的故事纔剛剛開始。
在這一進程中,許多時候,維度的突破可能會是關鍵。
從維度的角度,我們更容易理解愛因斯坦的那句名言:
我們不能用製造問題時同一水平的思維來解決問題。
(The significant problems we face cannot be solved at the same level of thinking we were at when we created them.)
而所謂更高的水平,往往是基於維度的。
九
關於思維或者認知的維度,我不打算做一些老生常談的陳述。
我想談及三個關鍵詞:
厚薄、Taste、隨機。
厚薄
圍棋是最複雜的遊戲之一,規則卻很簡單,在一個19✖️19的二維格子上,演繹出比宇宙間所有原子數量還要多的變化。
一個圍棋高手最厲害的地方是什麼?
他能夠從更高維度去理解一個局面。
20世紀最偉大的兩個棋手之一吳清源,在晚年提出了“六合”圍棋。
所謂“六合”,指的是四方(東南西北)和天地(上下)。
吳清源認爲:棋的一子一子必須和所有的方面相和諧,追求的是恰到好處地處於當時的位置。
不止是重視中腹,六合之棋的“天地”之維度,超出了棋盤平面的二維世界。
在一個僅有二維的棋盤上,哪有什麼天地呢?
他解釋說:子是有厚度和重量的。
所謂棋的厚與薄,外勢與實力,實質上與時間有關。
圍棋很有趣--由於棋子並不具備可移動性(除非被吃),圍棋的過去和現在是被壓縮在一個座標化的棋盤上的。
我在人生算法裡,說人生像是很多個切片串起來的。
圍棋則像是將這些切片層層疊放在一起。
這就是“厚”和“薄”。
理解並區隔圍棋的厚勢與實利,與許多重要的智慧“同源”。
20世紀最偉大的兩個棋手之二李昌鎬,有一個被廣泛誤讀的名言:
我的每手棋只追求51%的效率。
也許這個話題值得另外寫一篇。對此我的一個簡單解構是:
假如綠皮火車和高鐵一樣價格,你選哪一個?
除非你要體驗一下新奇或者懷舊,當然是高鐵。
那麼,假如有一手棋的效率是51%,另一手棋的效率是81%,如果代價是一樣的,爲什麼要選擇51%的,而不是81%的?
對於一個職業棋手而言,每一盤棋的目標是非常明確的:
令“比對手至少領先半目”的結果概率最大化。
李昌鎬也不例外。
他所說的51%,其實是關於局部最優和全劇最優的取捨:
某一手棋A,就局部效率而言,是51%,全局效率是81%;
另一手棋A,就局部效率而言,是81%,全局效率是71%。
那麼,當然是選擇51%的A。
李昌鎬尤其擅長在領先的局面下,迅速縮短戰線,把棋盤“變小”。他會主動走一些看起來不是最優的招法,但是卻能消除掉那些不確定性因素,從而把優勢變成了勝勢。
吳清源和李昌鎬的秘密,都與愛因斯坦的四維時空宇宙觀有相通之處--
在圍棋這樣一個基於二圍棋盤的遊戲中,他們比對手有着維度之上的碾壓優勢。
這也是天才棋手和厲害棋手之間的最大區別所在。
Taste
楊振寧曾在紐約州立大學石溪分校遇到一個15歲的學生,這個孩子非常聰明,輕鬆地回答了他提出的幾個量子力學問題。
楊振寧接着問他:這些量子力學的問題,哪一個你覺得是妙的?
然而,他卻講不出來。“對他講起來,整個量子力學就像是茫茫一片。”
楊振寧對他的看法是:儘管他吸收了很多東西,可是他沒有發展成一個Taste。
什麼是Taste?似乎模糊。
還是讓楊振寧來解釋吧:
“......學一個東西不只是要學到一些知識,學到一些技術上面的特別的方法,而是更要對他的意義有一些瞭解,有一些欣賞。
假如一個人在學了量子力學以後,他不覺得其中有的東西是重要的,有的東西是美妙的,有的東西是值得跟別人辯論得面紅耳赤而不放手的,那我覺得他對這個東西並沒有學進去。“
楊振寧說在西南聯大七年,對他一生最重要的影響,是對整個物理學的判斷,已有自己的Taste。
接下來這些內容稍顯多餘,但是對於教育的啓示太大了:
楊振寧自幼喜愛觀察自然,表現出強烈的愛美之心與好奇心。
父親是數學家,楊振寧從小接觸數學書籍,打下了紮實基礎。
在西南聯大期間,受到名師教授數學、物理及中文閱讀與寫作。
楊振寧的學術啓蒙得益於吳大猷和王竹溪兩位導師,分別引導他進入對稱原理與統計力學領域。
所以,Taste像是一個人認知世界的多元思維中的高維鳥瞰,未知世界裡隱秘的關聯--哪怕只是關聯的投影。
我們可以說,喬布斯是個很有Taste的人,這不是指藝術上的Taste,或是品味上的Taste,而是他能夠橫跨科技、藝術、商業,來做出一個超越時間的判斷。
前面說的吳清源的對圍棋的天才感覺,也是一種Taste。
也許每個人在獲取知識和發展認知的過程中,都是在構建和訓練一個自己的大模型。
所謂的Taste,就是在”茫茫一片“的神經網絡之中,形成的某些石破天驚的重要連接。
這和Transformer倒也有可以類比之處。
Transformer通過自注意力機制,允許模型在不同維度上“看到”數據之間的相關性,提取出最關鍵的連接。
同樣地,Taste也是通過對信息的深刻理解,能夠超越表面,找到那些石破天驚的關鍵連接。
因此,Taste不僅是一種對知識的理解,更是一種超越時間和空間、對事物本質的高維度判斷。
人們說,大模型時代,一個人重要的能力是提問。
然而,如果沒有Taste,不可能問出了不起的問題。
最近一段時間,有些人鼓吹硬科技,重理輕文。可如楊振寧所說,如果沒有Taste,而總是追求有用,可能很難走得遠。
愛因斯坦也有類似的觀點:
“在一定程度上而言,科學家對自然深層次美的領悟和熱愛,以及所具備的形而上的審美判斷力決定了其研究所能企及的高度。”
這一段落所說的Taste,和上一段落說的厚薄,都像是某種“直覺”。用愛因斯坦的話來說:
“真正有價值的是直覺。在探索的道路之上,智力作用不大。”
這種直覺,也是他眼中“由哲學的洞察力所創造的獨立性”,能夠幫助科學家避免陷入“見樹不見林”,愛因斯坦認爲這“正是一個工匠或專家,與一個真正的真理追尋者之間,最大的區別。”
隨機
看起來,不管是厚薄,還是Taste,都是某種只可意會不能言傳的東西。
那麼,機器智能是如何感知圍棋的“厚薄”的?早在2016年,阿爾法狗已經碾壓了人類自以爲無法被超越的“靈性”。
AI可以擁有楊振寧所說的那種Taste嗎?
起初,計算機像是一種純粹的基於邏輯推理的機器,直至不確定性和隨機性被引入。
辛頓的玻爾茲曼機代表了人工智能發展中的一次關鍵突破。
最早的神經網絡,如霍普菲爾德網絡,更多是基於確定性原理來處理信息,擅長記憶和補全任務。
它通過逐步最小化能量進入“能量井”,達到記憶模式的重現。
然而,這類網絡的侷限在於,它們只能處理已經學習過的模式,而無法創造新的模式,也無法理解數據的內在結構。
辛頓的貢獻在於引入了不確定性和隨機性。
他提出的玻爾茲曼機通過模擬物理系統中粒子的隨機運動,捕捉數據的概率分佈,從而生成新的數據。
這個系統不再總是選擇最低能量狀態,而是根據波爾茲曼分佈,概率性地做出決定。
這一創新讓機器學習模型從固定的邏輯跳躍到靈活的隨機領域,就像爵士樂手能夠在固定的音樂結構中即興創作。
在物理學中,路德維希·波爾茲曼通過研究氣體分子運動中的能量分佈,提出了著名的波爾茲曼分佈。
他發現,物理系統中低能量狀態的粒子比高能量狀態的粒子出現的概率更大,這種概率與粒子的能量成指數關係。
簡單來說,系統中更穩定的狀態出現的概率更大,而高能量狀態雖然可能出現,但頻率較低。
這一觀點將隨機性帶入了物理學核心概念。波爾茲曼解釋了爲什麼在微觀層面上,粒子之間的碰撞會導致能量的分佈不均勻,進一步揭示了宏觀系統中的不確定性。
這爲量子力學中的概率解釋奠定了基礎。量子世界中的每個事件都遵循某種概率規律,精確預測每個單獨事件幾乎不可能,但可以通過概率統計對整體行爲進行推測。
這種隨機性也滲透到了社會和金融領域。塔勒布的第一本書就叫《隨機漫步的傻瓜》。
在人生中,隨機性也扮演着關鍵角色。正如人類無法預知未來的一切細節,我們的命運也往往受到各種隨機因素的影響。
真正的智慧不是消除不確定性,而是在升維思考中擁抱隨機性,藉助概率找到那個最佳行動方案。
《人工智能:現代方法》寫到:
“按照常規的理解,邏輯要求關於世界的認知是確定的,而實際上這很難實現......概率(probability)論填補了這一鴻溝,允許我們在掌握不確定信息的情況下進行嚴格的推理。”
也許隨機性帶來了混亂,帶來了不安,但是,隨機性也是生命之源,是能量之本嗎,甚至也是時間的秘密。
假如熱力學第二定律決定了孤立系統會自發地朝着最大熵狀態演化,爲什麼地球上會出現生命?爲什麼人的大腦能夠以如此複雜的機制去思考宇宙?
玻爾茲曼的解釋是:
我們觀測到的低熵世界來源於高熵宇宙的隨機漲落。
大的漲落可以造成熵很低的狀態,概率也很低,但在宇宙廣闊尺度下仍然會發生,而我們自身的存在也是來源於這種漲落帶來的低熵世界。
一個奇怪的演繹是:如果宇宙可以通過某種隨機波動從虛無中冒出來,那麼相比之下,更簡單的東西,比如一個大腦,隨機出現的可能性會更大。
想象一下,你正坐在沙發上刷這篇文章,感覺一切都很真實。
可根據“玻爾茲曼大腦”的假設,你有可能根本不在客廳裡,也沒有在看電影。你只是一個孤立的大腦,突然從虛無中“蹦”出來,帶着完整的記憶和感知。
儘管這個大腦只會存在極短的時間,然後很快消失,但在那短暫的一瞬間,它堅信自己正處於一個完整的、真實的世界裡——正在和舒適的沙發上享受本文的摧殘,然而這一切只是大腦的幻覺。
另外一個懸念是:隨機漲落中生成的人類,有機會更長久地避開熵增定律,逃離死寂的命運,去宇宙深處探尋秘密嗎?
十
請AI幫我爲本文總結出10條有價值的思考工具和行動指南--雖然有點兒多餘。
1、升維思考:更高維度和多維度分析
在遇到複雜問題時,引入額外的維度(如時間、溫度、空間)幫助你從多個角度進行分析。就像在毒酒問題中從二維升到三維,再到“七維”,增加維度可以發現更多的信息和解決方法。
2、降維行動:全局壓縮與奧卡姆剃刀
在面對複雜問題時,降維行動不僅是簡化思維,而是基於對全局的深刻理解,將冗餘信息壓縮,保留最核心的要素。
就像奧卡姆剃刀的原則——去除不必要的假設,選擇最簡潔的路徑。
通過全局的思考做出局部的行動決策,確保簡化後的方案依然有效並且精準,避免因過度複雜而拖延或增加不必要的風險。
3、成爲有Taste的人:培養獨特的判斷力
通過積累知識、體驗和反思,逐步建立對事物的“感覺”,培養你自己的Taste。
Taste 是判斷力的高維版本,能夠幫助你迅速分辨重要信息,提升你的洞察力和決策效率。
4、概率思維:接受不確定性並優化決策
現實中常存在不確定性,採用概率思維可以幫助你在不確定中找到最優方案。通過貝葉斯推理或隨機策略,訓練自己根據有限信息做出合理的推斷,並擁抱不確定性。
5、訓練你大腦的大模型:持續的權重更新
在深度學習中,權重更新通過反向傳播不斷調整模型,使其表現越來越好。
類似地,我們在生活中的每一次嘗試、成功或失敗,都可以視爲對自我權重的“更新”,通過不斷反思和調整行爲策略,優化自己。
將每一次失敗視爲反向傳播的反饋,不斷調整你的思維和行動模式。以成長爲目標,注重逐步優化,而不是尋求一次性的成功。
6、擁抱隨機性:把握你的概率權
利用變化中的機會隨機性不僅是混亂的來源,也是機遇的來源。
在你的工作和生活中,適當引入隨機性的概念,在多種可能性中大膽嘗試,利用“漲落”帶來的突破,找到隱藏的解決方案。
7、建立人生的估值函數:以終局目標爲導向採取行動
在行動時,不要追求最完美的選擇,減少不必要的思維複雜性。類似於李昌鎬在領先時縮短戰線的做法,鎖定目標後迅速行動,避免過度優化帶來的拖延。
8、時間維度利用:加入時間因素來解決問題
在現實世界裡,總是可以看到但又被忽略的,是時間。
長期主義,必須將時間和空間整合成一個系統。
通過觀察事物在時間上的變化來做出判斷,將時間因素融入決策,提升長遠的判斷力。
9、可操作的二進制思維:把所有複雜難題簡化爲二選一
學習二進制的思維模式,幫助你在複雜情況下簡化決策。通過將問題拆解爲“是/否”、“0/1”形式,快速找到核心點,這種思維方式有助於提升處理複雜問題的效率。
10、提問的藝術:用高維問題打開局面
大模型時代,人類最強的能力是提問。培養提出優質問題的能力。讓AI幫助你在探索過程中找到突破點。
最後
也許你還記得本文以盲人的難題開頭,請允許我用盲人的故事結尾。
盲人失去了觀察這個世界最重要的維度之一:視覺。這是普通人無法理解的沉重和不公。
而有一位盲人不僅失去了視力,還失去了聽力。
一個人處在這樣一個黑暗的、無聲的世界裡,該如何活下去?
我想分享的故事的主角是海倫·亞當斯·凱勒,她在19個月大的一次疾病中失去了視力和聽力。
1924年2月1日,紐約的WEAF廣播電臺播出了紐約交響樂團現場演奏的貝多芬第九交響曲。
海倫·凱勒在家裡“聽”了這場音樂會。如下圖:
後來她寫信給紐約愛樂,分享了自己的體驗。以下是該信。
(中文翻譯來自網絡。)
親愛的朋友們:
雖然我既瞎且聾,我仍然懷着歡躍之情告訴你們:昨晚我度過一段光輝燦爛的時光,靠着收音機聆聽了貝多芬的《第九交響曲》。
我並不是說像其他人一樣“聽到”音樂;我也不知道是否能讓你們瞭解,我如何能從交響曲得到快樂。這連我自己都驚訝不已。
我早已從雜誌上讀到收音機帶給盲者的幸福:它能帶領看不見的人到任何地方去。
我很高興知道盲者獲得了新的樂趣來源;但我從未夢想能得到和他們一樣的快樂。
昨晚,當家人聆聽你們精彩的演出這不朽的交響曲時,有人建議我把手放在收音機上,看看我能不能感受到任何各式各樣的震動。
他旋開收音機的喇叭蓋,於是我輕輕碰觸敏感的震動膜。我驚奇地發現我能感受到的不只是震動,而且是充滿熱情的節奏、以及音樂的悸動和涌蕩!發自各種不同樂器的震動交纏並融合在一起,使我陶醉不已。
我能確切分辨短號、急切的鼓聲、低音的中提琴和優雅合奏的小提琴。當小提琴淹漫並鑽犁過其它樂器的最低音調時,它的演奏是多麼地美妙!
當人聲從和聲的波濤中顫慄躍出時,我馬上分辨出它們是更加狂喜、迅速上揚如燃燒的火焰,直令我的心跳嘎然而止。
而女聲部的歌聲似乎具備了天使般的聲響,在美麗而鼓舞人的聲音洪流中和諧涌動。
接着所有的樂器和人聲一起爆發出來——像在天堂搖盪的海洋——然後像風一樣漸微漸消,於甜蜜音符的柔和沐浴中結束。
當然這不是“聆聽”,但我確知這些音符與和聲傳達給我雄美和壯麗的情愫。同時我感受到——或者我自認爲感受到——自然的溫柔歌聲唱進我手中;感受到搖擺的蘆葦和風、以及潺潺的溪流。我以前從未因這麼多的音調震動而狂喜過。
當我聆聽時,黑暗和旋律、陰影和聲音充滿整個房間,我忍不住想到傾注如此甜蜜洪流給世界的這位作曲家,竟是和我一樣耳朵聾了。我驚訝於他不滅的精神所產生的力量,從他的痛苦中爲別人粹練出歡樂——而我坐在這兒,用我的手感受這神奇的交響曲,彷彿海洋一般拍擊着他和我兩人寂靜的靈魂海岸。
這是一篇令所有能聽見、能看見的人汗顏的文字。
爲什麼失去了觀察世界的很多個維度,海倫·凱勒依然比絕大多數健全的人更能感知這個世界的秘密?
她自己曾經給出過答案:
“世界上最好和最美的東西是看不到也摸不到的……它們只能被心靈感受到。”
也許靈魂,纔是一個人最重要的維度。