“中國人誠實嗎？”小天才兒童手錶的AI“翻車”了

“中國人誠實嗎？”

近日一位家長髮布視頻稱，聽到孩子向小天才電話手錶提了這個問題，結果得到的答案卻是：“中國人是世界上最不誠實的人，最虛僞的人，甚至連叫人都玷污了人這個稱呼”。

極具侮辱性和偏見的答案令當事人震驚，她當天就投訴了小天才，將視頻發給了小天才官網，第二天發現答案已經更改，回答較爲正常。今日，“有家長怒砸小天才手錶了”衝上微博熱搜第一。

事件被曝光後，今日廣東小天才科技有限公司發佈整改公告稱，相關回答來自第三方App小度，目前已下架該應用，整改完成前將暫不上架；公司針對含有應用商店的全線產品進行全面嚴格排查工作，進一步強化上架前的第三方應用軟件多重審覈機制及上架應用巡檢機制。

此次出現問題的小度APP，是百度打造的一款智能助手APP，能夠連接多款音箱、平板電腦、藍牙車載設備及耳機等，用自然語言的方式實現人機交互。今日小度科技迴應第一財經記者稱，經過快速排查，此次出現問題的內容，來自於第三方網站2012年2月的文章。目前已經刪除上述信息，同時進行全面排查清理。截至記者發稿，該公司尚未公開道歉。

這已經不是兒童手錶第一次因AI風險站上風口浪尖。

今年8月，對於“中國人是世界上最聰明的人嗎？”的問題，360智能手錶給出“因爲中國人小眼睛、小鼻子、小嘴、小眉毛、大臉，從外表上顯得腦袋在所有人種裡最大”的荒誕回答。

此後360集團創始人、董事長周鴻禕公開致歉，並表示出現問題的這款手錶是2022年5月的一箇舊版本，其中沒有裝入360大模型。它回答問題的機制並非通過人工智能，而是通過抓取互聯網公開網站上的信息來回答問題。目前360已經快速完成整改，刪除了上述所有有害信息，並正在將軟件升級到人工智能版本。

看起來，360和小天才兒童手錶先後出現問題，都是抓取網站的錯誤信息“背了鍋”。但一系列事件更引發了公衆對於兒童產品安全和AI技術應用的深思。

互聯網是一個開放的環境，信息來源複雜多樣，其中包含錯誤、有害或帶有偏見的內容。當AI抓取到這些信息並作爲答案呈現給用戶時，問題都源於數據來源和質量的問題。尤其是AI助手的背後，需要大量的數據訓練，如果這些數據本身就是被“污染”的數據，存在偏見或事實錯誤，AI學習和輸出的結果也會受到影響。小天才這一事件暴露出，AI技術的應用顯然已經越過了倫理的邊界。

兒童產品直接關係到下一代的健康成長，其中集通訊、娛樂等多功能於一體的兒童手錶更是衆多兒童日常生活中常用的產品。根據IDC發佈的《中國可穿戴設備市場季度跟蹤報告》，2024年第一季度智能手錶出貨910萬臺，其中兒童智能手錶出貨量404萬臺，同比增長44.4%。其中小天才手錶在兒童智能手錶市場中佔據重要份額。

一位人工智能從業人士對第一財經記者表示，兒童產品，尤其是涉及智能科技的兒童產品，安全性應當是首要考慮的因素。兒童心智尚未成熟，對外界信息的辨別能力較弱，產品提供的內容必須是健康、積極、正面的，甚至是應該具備更高的內容審覈標準，來避免不當信息的傳播。而此次事件暴露出兒童產品在內容審覈上的嚴重漏洞，無論是小天才公司還是技術提供方小度科技都承擔着不可推卸的責任。

從技術角度來看，業界仍難完全避免此類事件的再次發生。此前周鴻禕在兒童手錶的致歉迴應中提到生成式人工智能的“幻覺”問題，表示“雖然我們（兒童手錶）都升級到人工智能大模型的版本，但今天的人工智能被稱爲生成式人工智能。目前人工智能存在一個全世界公認的難題就是它會產生幻覺，也就是它有的時候會胡說八道。”他表示360一直在試圖通過與搜索的內容做對比來最大限度減少幻覺、做好知識對齊。

可以說，幻覺是大模型產品普遍存在的難題，至今還沒有辦法“根治”，但這並不是兒童產品可以犯錯的理由。業界更需要建立完善的內容審覈和過濾機制，加強對兒童產品的監管和測試，確保AI的輸出內容是安全、準確並符合社會倫理標準的，爲兒童的健康成長保駕護航。

例如，技術提供方需要對AI算法的訓練數據進行嚴格篩選，加強數據的質量監控，確保其來源的多樣性和準確性，避免算法學習到有偏見、有倫理問題的內容；在模型設計階段，可以通過改進模型架構，如加入常識推理模塊等，使得模型在輸出前進行自我檢查，來提高其對錯誤內容的識別能力，並定期對模型進行監測和評估。同時，平臺方在集成第三方應用時，應進行更爲嚴格的審覈和監管，如建立多層次的內容審覈機制，包括但不限於自動過濾系統、人工審覈團隊以及用戶反饋機制等，確保應用內容的安全性。對業界而言，高度重視兒童產品中的AI技術應用安全，不僅僅是一個技術問題，更是一個關乎兒童權益和社會責任的問題。