2024年10月22日，美國佛羅里達州奧蘭多地方法院受理了一起開創先例的訴訟：梅根·加西亞起訴Character.ai公司存在管理疏忽，使得旗下的聊天機器人產品“讓青少年暴露在色情材料的環境下，遭受性虐待和引誘”。梅根的兒子塞維爾·塞澤在2024年2月28日和AI進行了最后一次聊天后，用手槍瞄準自己的頭部開槍自殺。

這或許是全球首例涉及AI聊天后的自殺，死者的親人起訴AI公司也是事出有因。法院該如何審理判決，究竟誰會對塞澤的死亡負責，目前難以預料。但是，由于人類社會已經進入到AI世紀，對AI涉及人的自殺是所有人都會關注和警惕的。

要判斷AI聊天機器人是否對塞澤的自殺負責，首先要了解聊天機器人是否誘導了塞澤的厭世，并且在了解到塞澤的厭世和自殺企圖后，AI公司是否采取了果斷和負責的干預措施。

一個坐在電腦旁邊的女人在與機器人聊天。視覺中國|圖

2021年11月24日，聯合國教科文組織第41屆大會通過了有史以來首個關于人工智能倫理的全球協議《人工智能倫理問題建議書》，提出發展和應用人工智能要體現出四大價值，即尊重、保護和提升人權及人類尊嚴，促進環境與生態系統的發展，保證多樣性和包容性，構建和平、公正與相互依存的人類社會。

關于AI對人類的威脅，建議書也提出了一些防范原則。AI應具有相稱性和不損害性，AI還應當具有安全和安保、公平和非歧視、隱私權和數據保護、透明度和可解釋性、人類的監督和決定、互惠性等。顯然，任何AI產品都應遵循適宜性（相稱性）、安全、公平、透明、保護隱私和公正等原則。

安全性是任何AI產品都必須遵循的原則，但是安全并非只是指對人的生理或物理安全，而是包括心理安全，而心理安全的標準有很多，一項AI產品是否能起到讓像人類的心理咨詢師一樣讓人產生穩定、正常、舒適、善良和平靜的心態，是應當進行專業評估的。正如今天的生物醫學研究和醫院治療病人，在涉及生命和安全時，必須經過倫理委員會的討論和批準。

《人工智能倫理問題建議書》只是提供了一個原則，但在保障安全性方面，還有大量的細則需要制定。顯然，目前在保證AI產品對人的身心安全方面，幾乎是一個空白，還沒有專門的標準。

以塞澤沉迷的Character.ai聊天軟件為例，它允許用戶設置虛擬角色并進行對話，AI能夠自動代入角色的設定，以特定的語言風格陪伴用戶。這些角色包括影視劇中的人物，丘吉爾、莎士比亞這樣的歷史名人，以及泰勒·斯威夫特這樣的現實名人等。

但是，這樣的角色扮演（cosplay）早就引發過法律糾紛，顯示了有違人工智能倫理原則的風險。表現為，Character.ai未經一些娛樂明星同意，就將其設定為AI角色，還有一些惡趣味用戶將過去的殺人案受害者等設為AI扮演的角色。而這樣的角色扮演對于涉世不深并且沒有社會經驗的青少年來說是負面意義居多還是正面意義居多，顯然沒有經過Character.ai的倫理評估，以致誘導塞澤一步步踏入厭世和自殺的陷阱。

但是，Character.ai并非沒有對用戶，尤其是青少年用戶的厭世心理和危險行為進行干預，只是還不夠。塞澤在和AI聊天中與《權力的游戲》中的著名角色“龍媽”丹妮莉絲·坦格利安交往最多，他不僅和“龍媽”這一虛擬角色分享心事，而且多次談到了自殺的念頭。當他表示想要自殺時，“龍媽”曾勸阻他不要做傻事，“如果你死了，我也會傷心而死”。

塞澤當時稱，“那為什么我不能自殺以后來到死后的世界和你在一起？”今年2月28日，塞澤在家里的浴室中和“龍媽”進行了最后的聊天，表示自己很快要“回家了”。聊天結束后，塞澤使用其父親的大口徑手槍，瞄準自己頭部開槍自殺。

這個細節表明，AI對塞澤的厭世自殺是有過干預的，但是并不深入和具體，而且干預行為沒有實質性的體現。從該AI公司的辯解也能看出。Character.ai公司稱，所有的聊天角色都會針對用戶吐露的自殺意圖進行干預，并彈出窗口協助用戶撥打自殺干預熱線電話。此外，針對18歲以下青少年用戶還有很多專門的保護措施，包括在使用滿一小時后彈窗提醒，并在用戶每次啟動聊天時提醒用戶是在和AI而非真實的人對話。

然而，聊天機器人彈出窗口協助用戶撥打自殺干預熱線電話只是協助，而非主動撥打電話，表明這樣的干預并不主動，也沒有落到實處。有效的干預是，一旦聊天者透露出自殺念頭，聊天軟件的客服，無論是機器還是人工客服，就應當主動向心理衛生中心或自殺干預機構發送信息，讓后者馬上采取行動。

早在2014年，法國蒙彼利埃大學計算機技術領域學者阿瑪亞斯·阿伯特（Amayas Abboute）等人就發表論文《挖掘推特，防止自殺》，提出可用自動語言處理和學習方法，獲取社交平臺推特（Twitter，后改為X）上有自殺風險的帖子，干預自殺。中國科學院行為科學重點實驗室的互聯網心理危機（自殺）監測預警中心，也采用人工智能軟件，檢索出有自殺意念趨向的人，用“心理地圖PsyMap”的賬戶自動給對方發送私信，精確投放幫助信息，干預自殺。

人工智能聊天軟件在了解客戶的心理和行為方面顯然有比父母、親朋好友不具備的優勢，也能緩解和消除人們的心理障礙和痛苦，但是，也正是這一優勢能發現和了解一些抑郁和心理痛苦，并想要自殺的人的情況，由此可以通過心理干預中心采取行動，挽救生命，保障人的安全。這一優勢沒有被Character.ai公司所采用，實在是一大遺憾。這或許正是Character.ai公司和其他AI公司可能要負責任的地方。