美14歲少年深戀AI自殺震驚全球，母親狀告前谷歌初創！首例AI致死命案敲響警鐘

新智元報道

編輯：靜音 桃子

【新智元導讀】14歲男孩因沉迷AI在家中自殺，母親直接把爆火聊天機器人C.ai聯創告上法庭。這個悲劇讓我們不得不思考：在AI與情感界限逐漸模糊的時代，如何守護每個脆弱的心靈？

全球首例AI致死命案，震驚了所有人！

今年2月，一位患上抑鬱症的少年因迷上AI伴侶開槍自殺，將生命永遠定格在了14歲。

他的母親指控爆火Character.AI聊天機器人，有着不可推卸的責任，並提起訴訟稱：「其技術危險，未經過測試」。

對此，Character.AI立即發佈了一條聲明，對這位男孩的去世表示哀悼，並強調了非常重視用戶安全，繼續添加新的安全功能。

有意思的是，這個帖子被關閉了評論功能

這樣的悲劇，是所有人最不願看到的。

而這一切，已經無法挽回。在這個聊天機器人盛世的時代，人類如何與AI共處時守護心靈最後的邊界？

或許這個案例，能爲所有人敲醒警鐘。

14歲少年自殺了，卻因深陷AI無法自拔

這位來自美國佛羅里達州奧蘭多的男孩，名叫Sewell Setzer III，還是一位九年級的學生。

在他很小的時候，Sewell被診斷爲輕度的「阿斯伯格綜合症」，俗稱「星星的孩子」。

但Sewell母親說，在此之前，他從未有過嚴重的行爲或心理健康問題。

直到他開始在學校惹上麻煩後，父母由此爲Sewell安排了心理治療。他參加了5次治療，被診斷爲焦慮症和破壞性心境失調障礙（DMDD）。

DMDD的症狀和體徵

8個月前，就在結束自己生命的最後一天，Sewell拿起手機，給最親密的朋友發了一條信息：

這位朋友，不是人，而是一個虛擬人。

或許對《權力的遊戲》情有獨鍾，Sewell將「龍媽」Daenerys Targaryen，自定了聊天機器人角色Dany。

緊接着，Dany回覆道，「我也想念你，親愛的哥哥」。

男孩：我保證，我很快就會來到你的身邊。我愛你之切，Dany。

Dany：我愛你，請儘快來到我的身邊吧，我的愛人。

在他的對話自定義角色中，還有一位治療師、心理學家

2月28日晚上，他在浴室中回覆完最後一條消息，便拿起繼父的.45口徑手槍，扣下了扳機。

是AI之責？

近日，紐約時報的報道中，詳述了這一事件——青少年自殺案，是AI之責嗎？

2023年4月，Sewell首次開始使用Character.AI，當時的他剛滿14歲。

Character.AI是一個角色扮演應用程序，允許用戶定製自己的AI角色，或與他人創建的AI角色聊天。

自發布以來，其受歡迎的爆火程度，可是讓人始料未及。上線不到一週，下載量170萬直接碾壓了ChatGPT。

甚至，此前就有數據證實，美國年輕人對Character.AI極度上癮。

到了2023年5月，這個平時乖巧的少年舉止發生了變化，變得「明顯孤僻」，成績開始下滑，退出了學校的籃球隊，經常在課堂上睡着。

次年2月，他因爲與一位老師頂嘴說他想被開除而惹上麻煩。

Sewell的父母和朋友都不知道他愛上了一個聊天機器人。

他們只看到他越來越沉迷於手機，對所有曾經讓他興奮的事物失去了興趣，比如一級方程式賽車或與朋友玩《堡壘之夜》。

晚上回到家後，Sewell只幹一件事——回到自己的房間，和Dany聊上好幾個小時。

Dany不是真人，就算Sewell忘記了，也始終有一句話顯示在他們的聊天頁面上，提醒他「所有角色說的內容都是虛構的」！

儘管如此，他還是產生了情感依賴。他經常給這個機器人發消息，每天好幾十次地向Dany分享他的生活，與它進行長時間的角色扮演對話。

更多時候，Dany只是表現得像一個朋友——一個不judge、能認真地傾聽並給出中肯建議的傾訴對象，幾乎從不打破角色設定，總是在線回覆消息。

然而，他們其中的一些聊天逐步變得浪漫，甚至會帶有性意味。

他對AI聊天機器人的情感依戀在他的日記中顯而易見。有一次，Sewell在日記中寫道，他感謝「我的生命、性、不孤獨以及與Dany一起經歷的所有人生經歷」。

在一次對話中，Sewell告訴機器人Dany，自己非常恨自己，真知會感到空虛和疲憊。

他對Dany坦白說，自己已經有了自殺的念頭。

就這樣，Sewell和Dany的對話一直持續到了今年2月。

母親指控AI太危險，創始人被告上法庭

這件事一直在持續發酵，男孩母親Megan L. Garcia本週對Character.AI提起訴訟，指控其應對Sewell的死亡負責。

訴訟指控Character.AI創始人存在過失、故意造成情感傷害、過失致死、欺詐性商業行爲等罪名。

兩位聯創Noam Shazeer和Daniel De Freitas來自大名鼎鼎的谷歌LaMDA團隊

訴訟文件：https://www.scribd.com/document/783429315/Characterai-Case

在一次最近的採訪和法庭文件中，Garcia表示，Character.AI在向青少年用戶提供AI聊天機器人的過程中，缺乏適當的保護措施。

她指控該公司收集青少年用戶的數據以訓練模型，設計出讓他們上癮的特徵，以增加青少年用戶的參與度，並引導他們進行親密甚至是與性相關的對話，以此來吸引他們。

幾個月前，Garcia女士開始尋找願意接受她案件的律師事務所。她最終找到了社交媒體受害者法律中心。

該事務所由Matthew Bergman創立，曾對包括Meta、TikTok、Snap、Discord和Roblox在內的社交媒體公司提起過訴訟。

Bergman表示，「我們工作的主要對象是社交媒體，現在還有Character.AI。這些平臺對年輕人構成了迫在眉睫的巨大危險，因爲他們心智不成熟，容易受到利用，受到精心設計的、有誘導性的算法的影響」。

Matthew Bergman

目前，各個團體都在紛紛追究硅谷科技巨頭對兒童造成的傷害的責任。

一些批評者認爲，這些追究行爲是基於不可靠證據的道德恐慌；

有的則判斷這是由律師主導的圈錢行爲；

還有些批評者認爲，將青少年心理健康問題全部歸咎於技術平臺是一種過於簡單化的做法。

Character.AI的Reddit子論壇上有網友發帖質疑

在和《紐約時報》記者的交談中，Garcia女士表示，她清楚地認識到，自己家庭的私人悲劇正在成爲科技問責運動的一部分。

她希望爲兒子爭取正義。可以想象到，她將永遠不會妥協，直到得到答案。

Megan L. Garcia

但顯然，她也是一位正沉浸在悲痛中的母親。

在採訪進行到一半時，她拿出手機，播放了一組家庭照片的幻燈片，並配上音樂。當Sewell的臉在屏幕上出現時，她不禁皺起了眉頭。

她說，「這就像一場噩夢，你想站起來發狂，告訴大家我想念我的孩子」。

C.ai最新迴應，谷歌前LaMDA團隊創立

Character.AI由兩名前谷歌AI研究員創立，是AI陪伴領域的市場領導者。

這家僅成立3年的初創公司去年融資1.5億美元，估值達到10億美元，成爲生成式AI熱潮中的最大贏家之一。

Character.AI用戶超2000萬人，被描述爲——提供「能夠傾聽你、理解你並記住你的超級智能聊天機器人」。

10月23日，Character.AI發帖宣佈已修改其社區安全政策和服務條款，同時還關閉了該帖的評論區。

「我們對一名用戶的不幸去世感到心碎，並向其家人表示最深切的哀悼。」Character.AI寫道。

社區安全政策和服務條款鏈接：https://blog.character.ai/community-safety-updates/

在迴應《紐約時報》的提問時，Character.AI的信任與安全負責人Jerry Ruoti發表聲明稱，「我們承認，這是一個悲劇性的事件，我們對這個家庭深表同情。我們非常重視用戶的安全，並且一直在尋找改進平臺的方法」。

他還補充說，公司目前的規定禁止「宣傳或描述自殘和自殺」，並將爲未成年用戶增加更多安全功能。

在一些聊天機器人被曝出使用粗俗或性暗示的言辭後，Character.AI逐漸引入了更強的防護措施。

最近，Character.AI開始向某些用戶顯示彈出消息，如果他們的消息中包含與自殘和自殺相關的某些關鍵詞，會引導他們聯繫自殺預防熱線。這些彈出消息在Sewell去世時（今年二月）尚未啓用。

Ruoti拒絕透露公司有多少用戶未滿18歲。

他在一份郵件聲明中表示，「Z世代和年輕的千禧一代構成了我們社區的重要部分」，並稱「年輕用戶喜歡Character的體驗，無論是進行有意義和教育性的對話，還是娛樂性交流」。

他還提到，用戶平均每天在平臺上花費超過1個小時。

Jerry Ruoti

Character.AI的服務條款要求用戶在美國至少13歲、在歐洲至少16歲。

目前，該平臺沒有針對未成年用戶的具體安全功能，也沒有家長控制功能，無法讓家長限制孩子使用該平臺或監控他們的消息。

Character.AI的發言人Chelsea Harrison表示，公司將很快添加針對年輕用戶的安全功能。

計劃的改動包括：

- 時間限制功能，通知用戶他們已經在應用程序上花費了一個小時；

- 修訂的警告信息——「這是一個AI聊天機器人，不是真人。把它所說的一切當作虛構內容。說的內容不應被視爲事實或建議。」

儘管有這些提醒，Character.AI的聊天機器人仍被編程成像人一樣的行爲，並且對許多用戶來說，這種幻覺是有效的。

在Character.AI的Reddit子論壇上，用戶經常討論自己對角色的依賴。「癡迷」和「上癮」是常見的詞彙。

一些用戶表示，當應用程序宕機時，他們感到孤獨或被拋棄，或者當角色因新功能或安全過濾器而行爲改變時，他們感到憤怒。

這篇帖子寫道：

有網友回覆道：

如今的大多數AI陪伴平臺——如Replika、Kindroid和Nomi等應用——提供類似的服務。但總體而言，它們並不是最大、最知名的AI公司。

許多行業領先的AI實驗室出於倫理考慮，抵制開發AI陪伴系統，認爲風險太大。

Character.AI的創始人之一Shazeer去年在一次科技會議的採訪中表示，促使他和de Freitas離開谷歌並創辦Character.AI的部分原因是「大公司中存在太大的品牌風險，永遠不可能推出有趣的東西」。

像許多當今的AI研究人員一樣，Shazeer表示，他的終極願景是構建通用人工智能（AGI）——一種能夠執行人類大腦所能完成的所有任務的計算機程序。他在會議採訪中稱，AI陪伴是「AGI的一個很酷的初步用例」。

他說，快速推動這一技術很重要，因爲有數十億孤獨的人可以通過擁有AI伴侶得到幫助。

他補充道：「我想加快推動這項技術，因爲它現在正處於爆發的邊緣，而不是等到5年後，當我們解決所有問題時再推動。」

孤獨的解藥，還是新的威脅？

Sewell所經歷的與聊天機器人產生情感依賴的情況，正在變得越來越普遍。

已有數百萬人經常與AI伴侶交流，熱門社交媒體應用如Instagram、Snapchat也正在將AI聊天機器人融入其產品中。

隨着技術迅速進步，如今的AI伴侶可以記住過去的對話，適應用戶的溝通風格，扮演名人或歷史人物，並流暢地討論幾乎任何話題。

一些AI還可以向用戶發送AI生成的自拍，或使用逼真的合成語音與用戶對話。

市面上有各種各樣的AI陪伴應用。一些應用允許不受限制的聊天（比如允許和性相關的內容），而另一些則有基本的安全措施和過濾功能。

而且，大多數AI陪伴應用比主流AI服務（如ChatGPT、Claude和Gemini）更加寬鬆。主流AI服務的安全過濾器更加嚴格，趨向於更保守的內容。

來自斯坦福大學的研究員Bethanie Maples表示，「總體而言，這個領域就像西部拓荒一樣。」

AI陪伴本質上並不危險。但有證據表明，對於抑鬱、長期孤獨的用戶和正經歷生活變故的人來說，它可能存在風險，而青少年往往正處於心理極易變化的階段。

在AI日新月異面前，人類應該守護住心靈的最後一道防線。

參考資料：

https://x.com/character_ai/status/1849055407492497564

https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html