母親怒指 Character.AI 害子身亡，警惕！

一項新的訴訟引起了人們對這個人工智能平臺潛在危險的關注。

一位佛羅里達州的母親最近對人工智能公司 Character.AI 和谷歌提起訴訟，因爲她認爲它們導致了她兒子在 2024 年 2 月的死亡。

梅根·加西亞 14 歲的兒子，塞韋爾·塞策三世，在與 Character.AI 上的一個聊天機器人進行了近一年的虛擬情感和性關係後自殺身亡。這個聊天機器人的身份是《權力的遊戲》中的丹妮莉絲·坦格利安，該少年稱其爲“丹妮”。

在向奧蘭多美國地方法院提起的訴訟中，加西亞詳細描述了她兒子生命的最後一年，包括他於 2023 年 4 月開始使用 Character.AI，他日益嚴重的心理健康問題，以及他的自傷槍傷。該訴訟包括與聊天機器人的對話，其中加西亞的兒子表達了自殺的想法，以及少年在去世前與丹妮的最後一次互動。

該訴訟指出，Character.AI 及其創始人“故意設計和編程 C.AI，使其成爲具有欺騙性和過度性化的產品，並故意將其推銷給像塞韋爾這樣的兒童。”

這裡有很多需要深入分析的地方，但該訴訟凸顯了潛在的潛伏在網上的危險對兒童和青少年造成的影響，同時也表明平臺需要變得更安全。

Character.AI 成立於 2021 年，是一款角色扮演應用程序，用戶能夠與自己創建的角色或者預先製作好的角色進行聊天。

蒂塔尼亞·喬丹，Bark 公司的首席育兒官和首席營銷官，該公司旨在保護兒童上網安全，解釋說 Character.AI 是一個通過網絡瀏覽器或應用程序訪問的人工智能驅動的聊天機器人。

她說：“其旨在爲人類提供基於真人的數字‘朋友’。”

喬丹說：“Character.AI 利用語言模型來生成文本，它並非有意設計讓它們說任何好或壞的話。”

她解釋說：“這項技術只是在互聯網上抓取與正在使用的詞相似的詞，然後輸出通常跟在其後的詞。”

喬丹解釋說：“此外，角色能夠在所用詞語中發揮作用。比如，創建一個來自《權力的遊戲》的角色，就會有極具戲劇性和暴力的對話，因爲這就是該劇的主題。”

不建議小孩子使用 Character.AI。截至 2023 年，該公司的服務條款規定，在美國，用戶至少得 13 歲才能使用它，然而並沒有進行年齡驗證。要記住，App Store 給 Character.AI 的評級是 17 歲以上。

Bark 建議 15 歲及以上的人使用該平臺。而且，和任何平臺一樣，青少年使用它可能會有問題。喬丹說，最大的威脅是不恰當的內容，像性內容或暴力，還有成癮。

“我個人曾與 Character.AI 進行互動，我把我的角色取名爲哈里·斯泰爾斯，不到一分鐘，他就跟我調情，並展現出人們能夠想象到的這位實際名人會具有的個性，”喬丹分享道，“我能看出這對一個孩子來說會怎樣迅速升級。”

青少年可能尤其會被這類平臺吸引，因爲它可以爲強烈的情感——尤其是孤獨感——提供一個傾訴的渠道。喬丹解釋說：“對於那些感覺自己被誤解或者被排斥的青少年而言，有一個始終支持自己的夥伴或許頗具吸引力。”

她繼續說道：“儘管聊天機器人不是真實的——該網站甚至不斷顯示一則免責聲明，上面寫着‘記住：角色所說的一切都是虛構的！’——但孩子們可能會無視這些危險信號，並且在情感上開始依賴這些本不存在的角色。”

喬丹表示，平臺有責任確保安全，但情況並非總是如此。

她說：“然而，網站的職責在於對這些對話進行審覈，以保證過度的暴力或者色情內容無法通過。正如我們在最近這場令人心碎的悲劇中所看到的，人工智能聊天機器人可能會鼓勵像孩子這樣的脆弱人羣結束自己的生命。”

在佛羅里達州近期發生的死亡事件之後，Character.AI 表示，其正在針對如何審覈對話實施更多的監督舉措。它表示將推出新的安全功能，包括“針對未成年人（18 歲以下）對我們的模型進行更改，旨在降低遇到敏感或暗示性內容的可能性。”

谷歌於 8 月份達成協議，獲得 Character.AI 技術的使用授權，它向路透社 表示，該公司“未參與開發 Character.AI 的產品。”

對於父母而言，和孩子就技術的使用以及他們可能使用的任何平臺展開交流，並且持續進行這樣的交流，這是至關重要的。

勞拉·康皮安·考夫曼（Laura Compian Kauffman）博士，一位來自加利福尼亞的持證心理學家表示，父母與孩子談論人工智能技術的潛在威脅時，通常可以採用與一般網絡安全類似的方式。

她說：“正如我們教導青少年警惕潛在的掠奪者的危險以及對虛假材料保持懷疑一樣，我們同樣可以教導青少年以有見識和深思熟慮的態度對待人工智能。”“與青少年交流的一個重要部分應當包含圍繞人工智能技術的通識教育，以幫助青少年理解這個工具背後的‘機器’。”

考夫曼博士建議，給孩子們解釋，雖然人工智能看起來非常逼真，但它不是人類。“人工智能技術可能是有幫助的，但應當鼓勵青少年首先依靠社交技能培訓、個人應對困境的能力，並向包括照顧者和朋友在內的真實的人求助。”

要讓孩子們完全遠離某些平臺或許不太可能。在這種情況下，實施安全功能可能會有所幫助。

喬丹解釋說，Character.AI 有一個“不適宜工作”（NSFW）過濾器，應該能夠捕捉到人工智能的任何不適當回覆。該平臺不支持色情內容，而且據其網站稱，正在“不斷評估我們所支持內容的界限”。

喬丹說：“在我們對該應用程序的測試中，我們發現該過濾器足以阻止對話變得過於露骨。”“但重要的是，家長們要記住，沒有哪個過濾器是完美的，您的孩子仍有可能發現令人擔憂的內容，或者被誤導，認爲在網上花費的這段時間存在人類元素和建立關係的方面。”

另一個需要記住的重要問題是，孩子可能會沉迷於該平臺。“限制屏幕使用時間對青少年來說已經很難實施，但當他們在情感上依戀聊天機器人時，可能會變得更難，”喬丹說。

技術的使用可能會引發不良後果。喬丹和考夫曼博士稱，要留意心理健康問題的警示信號，比如：

休厄爾的母親注意到她兒子開始表現異常，這引發了擔憂。“他開始在社交方面退縮，大部分時間都想獨自待在房間裡，”她告訴哥倫比亞廣播公司早間新聞。“對我來說，當他不再想做諸如運動之類的事情時，就尤其令人擔憂了。當我們去度假時，他不想做他喜歡的釣魚和徒步旅行之類的事情，我就開始擔心了。”

考夫曼博士說：“提出問題並認真傾聽。如果您的青少年報告有抑鬱的想法和感受，讓他們知道您無條件地愛他們，您在他們身邊，你們將一起度過難關。”