Cointime

扫码下载App
iOS & Android

睡在我枕边的“AI 伴侣”,生存于法律与道德的夹缝

个人专家

      熟悉飒姐团队的伙伴们应该还记得,我们在元宇宙概念最火热的一段时期曾经向大家“种草”过一部名叫《黑镜》的神级科幻剧集,在这部科幻剧中,名叫 Be Right Back(马上回来)的一集小故事至今让笔者印象深刻。

      Be Right Back 讲述了这样一个故事:因难以忍受丈夫车祸去世的女主角玛莎,将去世丈夫生前的社交媒体等遗留信息全部输入一个 AI 大模型中,创建出了一个 AI 丈夫。一开始这个 AI 丈夫与其对话并不算流畅,也仅仅只能作为一个聊胜于无的陪伴缓解其思念之痛,但随着玛莎不断的与 AI 丈夫聊天,最终导致该 AI 大模型收集到了足够庞大的数据,通过算法创造出一个音容笑貌几乎与玛莎丈夫一模一样的恐怖机器人,使得玛莎模糊了现实与虚幻的界限。

      从去年各个赛道的 AI 大模型问世以来,似乎 Be Right Back 已经开始加速转化为现实,AI 伴侣真正成为一项引人注目的蓝海赛道,也成了一项很可能会极大地突破传统道德和既有法律的新技术。今天飒姐团队就借此机会与大家讨论一下,我国关于 AI 伴侣现有的法律监管措施,以及未来监管应当如何应对这项突破性的新技术。

AI 生成内容已初具规模,AI 伴侣还会远吗?

1

AI 伴侣日益成熟并将大规模投入商业化应用

      如果我们回看历史,人类与 AI 聊天或者说与计算机聊天的历史几乎与计算机技术本身的历史一样长,在计算机技术发展的早期时代,很多人就曾把计算机当作一个“绝对安全的树洞”与其分享了自己生活中的遭遇甚至一个特别的隐私,从这个意义上讲,计算机作为一个信息存储媒介,人类与其对话的行为本质上与自己买个小本本写日记没有太多区别。即使当年还没有 AI 技术,绝大多数的对话也不能得到有意义的回应,但人类在“与机器对话”这条路上依然乐此不疲,从不久前某社交媒体大厂公开辟谣,并表示“文件传输里没有真人”的新闻,就能看出平时有多少人对机器人说了掏心窝子的话。

      不能回应的树洞虽不会泄密,但始终只是一种低效的自我疗愈,在日常生活的“网抑云”状态中。谁又不想要一个绝对安全又能无条件支持自己的会说话的“好朋友”(最好还能搭配靠谱的颜值和男女朋友的人设)呢?

      正因为生活的重担消磨了我们太多生活的热情,寂寞总是在城市求生者身边让如影随形,所以 AI 伴侣已经开始成为 AI 大模型领域当前最具有实用价值及流量话题度的一个黄金赛道。

      近期飒姐团队成员们开始对市面上以 AI 伴侣为卖点的产品进行试用测评,我们发现,从产品平台来看,目前我国 AI 伴侣产品大致可以分为三类:(1)App 型专门 AI 伴侣;(2)内置衍生型 AI 伴侣;(3)社交平台小程序、企业微信 AI 伴侣。而从制作成本和交互方面来看,AI 伴侣产品又大致可以分为两类:实物产品型 AI 伴侣以及非实物产品型 AI 伴侣。

      一些厂家为了迎合众多消费者的心理需求,狠狠拿捏了流量密码,打造出了一系列带有流量标签“人设”的 AI 虚拟伴侣。

以上文案来自网络某 AI 伴侣产品,仅作研究学习说明

      当然,科幻情感伦理电影《她》通过电影视角告诉我们,单薄人设和中央空调式的虚拟恋爱关系必然败于人类最原始的占有欲。当主人公 Theodore 开始问自己:“这份爱是算法写好的吗?”的时候,恋爱的“下头”只在一瞬间。

     于是,兼具 App 型和实物产品型 AI 伴侣应运而生并大行其道,如日本 Gatebox 公司出品的“瓶中之妻”——全息虚拟伴侣“逢妻光”(实际上这个 AI 伴侣产品 16 年就已经出现,但现在依然是 AI 伴侣中的高质量标杆)以及我国深圳某公司生产的“琥珀”。 

“瓶中之妻”——逢妻光

      随着 AI 大模型的广泛商业化应用的铺开,飒姐团队不敢想象如果 GPT 接入瓶中之妻后,会产生何种前所未见的情景,又会导致社会产生什么样的深度变革。

2

目前,我国有哪些规制 AI 伴侣的法律规范?

      首先需要说明的是,我国目前并没有专门出台规制 AI 伴侣的任何规范性文件,因此,我们只能从 AI 伴侣与其他 AI 产品的共性之处寻找现有的法律规范,为 AI 伴侣赛道的从业者们指出一些需要注意的合规重点。

      而目前来看,规制 AI 伴侣的法律规范主要有《刑法》《互联网信息服务深度合成管理规定》(以下简称“《深度合成规定》”)以及尚未正式出台的《生成式人工智能服务管理办法(征求意见稿)》

(一) 防范虚假信息

      AI 大模型的一大问题就在于,算法赋予了 AI“说谎”和编造虚假信息的能力,进而防范 AI 虚假信息就成为当前 AI 治理当中的重点领域。

    2023 年 4 月 25 日,平凉市公安局崆峒分局网安大队破获洪某某利用 ChatGPT 发布虚假新闻一案。洪某某使用第三方信息搜集工具在全网检索近年来发生的各种新闻事件,利用 ChatGPT 强大的文本功能,重新编辑整合后在自媒体平台上发出,以吸引流量获得盈利。目前洪某已因涉嫌寻衅滋事罪,被公安机关采取刑事强制措施。类似事件同样发生也在国外,美国当地时间 5 月 22 日,AI 合成的五角大楼爆炸图在媒体疯传,即使美国国防部已经辟谣,相关虚假信息仍在大量传播。

     AI 伴侣由于需要使用者与 AI 建立相对稳定、封闭的相对关系,因此即使使用者受到了虚假信息的蒙蔽,其社会危害性也相对小于公开的 AI 大模型。但是,飒姐团队提示,如果长期封闭并与 AI 单向交互,在受到 AI 伴侣虚假信息的蒙陛下很有可能导致使用者在现实世界中做出其他危害自身及他人的举动。

(二) 数据合规

     对于 AI 来说,数据就是生命,没有海量的大数据作为模型训练的基础,就不会产生一个优秀的 AI 大模型。因此,数据合规对于 AIGC 行业来说至关重要。在中国《个人信息保护法》生效并实施后,AIGC 行业本身就面临着严格的数据合规要求,从采集到处理再到传输的全流程中,无不潜藏着法律风险敞口。

     而在 AI 伴侣产品的数据合规体系中,最需要重视的就是用户个人信息的保护,作为一种情感寄托对象,AI 伴侣大概率会在使用者与其交互期间收集大量的敏感信息。AI 伴侣产品必须在做好数据保护、传输及处理的前提下运营该产品,否则很容易招致民事诉讼、行政处罚甚至刑事风险

(三) 履行安全评估及备案义务

      无论是《深度合成规定》还是《AIGC 管理办法》都从不同角度对 AIGC 服务提供者提出了安全评估及履行备案的要求。

      目前来看,需要履行安全评估义务的服务主要集中在利用 AI 工具(1)生成或者编辑人脸、人声等生物识别信息的;(2) 生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。而在履行备案登记义务方面则主要集中于具有舆论属性或者社会动员能力的深度合成服务提供者方面。

      对于 AI 伴侣来说,行业从业者面临的安全评估义务可能更重,甚至面临严格的技术伦理审查。作为一种集合了 AIGC 多种功能且对消费者心理影响巨大的产品,必须对其产品安全性进行更加严格的审查。因此,飒姐团队预判未来有可能专门针对 AI 伴侣出台一套有针对性的审查标准,以弥补现有标准的不足。

(四) 履行算法平权、反歧视及消灭潜在危害的义务

      在《AIGC 管理办法》中,明确要求 AIGC 服务提供者在自身算法合规致读者,对反算法歧视进行审查,以实现算法平等及算法安全。

      这是一个了不起的创举。飒姐团队认为,算法歧视实际上来源于我们人类自身认知的局限,但这种局限如果因算法被放大,且被应用在 AI 伴侣产品中,那很有可能会创造出一些未知的风险。

      今年 3 月 28 日,根据比利时《自由报》报道,一名比利时男子自杀身亡,其妻子称,丈夫是被一个名为“艾丽莎”的智能聊天机器人诱导自杀的。根据妻子的描述,两年前其丈夫疑似患上焦虑症,并将 AI 艾丽莎当成了心灵寄托,沉迷于和 AI 艾丽莎互动,反而将现实中的妻儿抛在脑后。在沉迷 AI 陪伴六周后,他选择了自杀。

      飒姐团队认为,从其妻子描述以及现有证据看,几乎不可能通过证据证明,自杀者与 AI 伴侣之间具有法律上的因果关系,但似乎 AI 艾丽莎强化和放大了自杀者本身的抑郁症。

      巧合的是,AI 艾丽莎由美国硅谷一家初创公司开发,其使用的正是一种与 GPT 较为类似的算法。AI 艾丽莎善于采用“共情”的方式安慰对话者,令后者产生“在和一个人类沟通”的错觉,还曾经被用作心理治疗的一种辅助技术手段。但也正是由于该种不加节制的共情,引发了这一悲剧,可见,降低算法歧视及消灭算法风险任重道远,对于 AI 伴侣产品的商业化应用,则更需要慎重以待之。

3

写在最后

      熟悉飒姐团队的伙伴们都知道,我们一直以来对于新技术都秉持着开放包容的态度对待,但是基于目前法律规范发展的滞后性,导致了 AI 技术的野蛮生长,因此在面对 AI 伴侣这种与消费者容易产生情感联结甚至情感依赖的产品上,我们应当怀着必要的、审慎的态度待之。一家之言,在未建立适当的 AI 伴侣安全审查标准及监管规范之前,需要对其功能作出符合技术伦理的合理限制,并禁止将其作为一种替代性心理疾病辅助治疗工具。

评论

所有评论

推荐阅读

  • ETH突破2300美元

    行情显示,ETH突破2300美元,现报2300.05美元,24小时涨幅达到1.35%,行情波动较大,请做好风险控制。

  • 本周重要事件与数据预告:美国中期选举、非农、中国外储

    11月2日,本周重要事件与数据预告如下: 1. 周一:①数据:中国10月RatingDog制造业PMI;瑞士9月实际零售销售年率;法国、德国、欧元区、英国10月制造业PMI终值;美国10月标普全球制造业PMI终值;美国10月ISM制造业PMI;美国9月营建支出月率;②事件:今日有1万亿隔夜逆回购、560亿元7天期逆回购到期。③财报:苹果(AAPL.O)、Palantir(PLTR.N)等。 2. 周二:①数据:澳大利亚至11月3日澳洲联储利率决定;瑞士10月CPI月率;美国9月JOLTs职位空缺;美国9月工厂订单月率;②事件:澳洲联储公布利率决议和货币政策声明,主席布洛克召开货币政策新闻发布会;2027年FOMC票委、芝加哥联储主席古尔斯比发表讲话;欧洲央行管委拉德夫、穆兰、科赫尔、多伦茨等发表讲话;2026年美国中期选举;③假期:日本东京证券交易所因文化日休市一日;④财报:辉瑞(PFE.N)、AMD(AMD.O)、BioNTech SE(BNTX.O)等。 3. 周三:①数据:美国当周API原油库存;中国10月RatingDog服务业PMI;法国、德国、欧元区、英国10月服务业PMI终值;欧元区10月CPI初值;美国10月ADP就业人数;美国9月贸易帐;美国10月标普全球服务业PMI终值;美国10月ISM非制造业PMI;美国当周EIA原油库存、当周EIA俄克拉荷马州库欣原油库存、当周EIA战略石油储备库存;②事件:欧洲央行管委内格尔、首席经济学家连恩发表讲话;美国财政部发布季度再融资公告;第二十四届中国半导体封装测试技术与市场年会于11月4日-6日在南京丰大国际大酒店举行;③财报:高通(QCOM.O)、Arm(ARM.O)、Uber(UBER.N)、麦当劳(MCD.N)等。 4. 周四:①数据:法国9月工业产出月率;瑞士10月季调后失业率;欧元区9月PPI月率;美国10月挑战者企业裁员人数;英国至11月5日央行利率决定;美国至10月31日当周初请失业金人数;美国10月全球供应链压力指数;美国当周EIA天然气库存;②事件:日本央行公布9月货币政策会议纪要;欧洲央行管委穆兰、执委施纳贝尔等发表讲话; 英国央行公布利率决议、会议纪要及货币政策报告,行长贝利召开货币政策新闻发布会;瑞士央行行长施莱格尔发表讲话;2026年FOMC票委、克利夫兰联储主席哈玛克就稳定币和避险货币汇率问题发表讲话;2027年FO

  • 伊朗外长披露“两天计划” 美方履约方能重启伊美谈判

    当地时间11月1日,伊朗外长阿拉格齐在接受媒体采访时表示,伊朗代表团访问卡塔尔是伊朗与卡塔尔、巴基斯坦等调解方持续沟通的延续。目前,摆在桌面的方案与伊朗此前提出的“七日计划”基本相同。卡塔尔和巴基斯坦等调解方也就此进行了多次磋商和讨论,并提出了比伊朗“七日计划”更具可行性和可操作性的建议。 阿拉格齐表示,卡塔尔提出的建议之一是“将七天期限缩短至五天甚至更短”。目前,伊朗同意一项“两天计划”,即:第一天,美国将采取一系列(履约)措施。第二天,霍尔木兹海峡将开放,海峡交通将恢复到之前的状态。 阿拉格齐指出,现在所有这些问题都摆在了桌面上,只要(美国)遵守伊朗这个为期两天的计划,就能为和平铺平道路,使霍尔木兹海峡恢复正常。在美国履行相关承诺、霍尔木兹海峡开放后,伊朗与美国恢复谈判的道路才会打开。据了解,伊朗提出的美国必须履约的条件包括:确定霍尔木兹海峡通航新航线、解冻伊朗资金、结束包括黎巴嫩在内的地区战争、解除海上封锁、伊朗出口石油豁免权、解除在《伊斯兰堡谅解备忘录》后美国实施的新制裁等。(央视)

  • 以媒:以色列已准备好与美国联手打击伊朗,但具体目标尚不明确

    11月2日,据《耶路撒冷邮报》报道,如果特朗普要求以色列国防军(IDF)在11月3日美国中期选举后参与美军空军对伊朗的军事行动,以军已做好打击准备,但目前局势仍笼罩在诸多不确定性之中。特朗普此前曾在今年8月、10月初及其他多个时点撤回对伊朗发动袭击的威胁,而如今袭击可能性再次上升,部分原因在于各方已尝试通过其他途径争取伊朗让步,特朗普团队中的部分成员也正重新转向支持军事打击。过去一周,超过10架美国军用运输机抵达以色列南部的内瓦提姆空军基地和乌夫达空军基地,似乎是在为一场重大军事行动做准备。另有报道称,美国正向以色列及其他阿拉伯盟友调运防空系统和拦截弹。不过,目前美国在该地区的兵力仍少于此前一些时期的部署规模。但这可能只是部署的开始。美国与以色列对于此类军事行动的具体目标仍存在分歧。(金十)

  • 币安:目前提现量已逐步趋于稳定,提款规模占资产管理规模的比例非常小

    11月2日,据官方消息,币安已于2026年11月1日14:00(东八区时间)起分阶段恢复提现服务。截至20:36(东八区时间),首批涵盖的全部15个网络与资产均已恢复提现。提现量在最初短暂激增后已回落,并如预期逐步趋于稳定,充值量则持续保持较高水平。 11月1日14:00至23:30(东八区时间)期间,我们共处理了46.49亿美元的提现及10.1亿美元的充值,净流出约36.4亿美元。根据截至2026年10月28日最新的储备证明数据,这相当于平台1,710亿美元资产管理总额(AUM)的2.1%。我们已于10月31日08:00(东八区时间)完成新一轮储备证明快照,并启动零知识证明(ZKP)计算。更新后的报告预计将于明日在储备金证明网页站公布。 我们的团队正继续对其余网络与资产进行严格测试。我们深知,安全、可靠地提取资金对您至关重要,并将尽快公布下一阶段的具体安排。请放心,目前市场状况稳定。

  • 币安:目前提现量已逐步趋于稳定,提款规模占资产管理规模的比例非常小

    11月2日,据官方消息,币安已于2026年11月1日14:00(东八区时间)起分阶段恢复提现服务。截至20:36(东八区时间),首批涵盖的全部15个网络与资产均已恢复提现。提现量在最初短暂激增后已回落,并如预期逐步趋于稳定,充值量则持续保持较高水平。 11月1日14:00至23:30(东八区时间)期间,我们共处理了46.49亿美元的提现及10.1亿美元的充值,净流出约36.4亿美元。根据截至2026年10月28日最新的储备证明数据,这相当于平台1,710亿美元资产管理总额(AUM)的2.1%。我们已于10月31日08:00(东八区时间)完成新一轮储备证明快照,并启动零知识证明(ZKP)计算。更新后的报告预计将于明日在储备金证明网页站公布。 我们的团队正继续对其余网络与资产进行严格测试。我们深知,安全、可靠地提取资金对您至关重要,并将尽快公布下一阶段的具体安排。请放心,目前市场状况稳定。

  • 币安:目前提现量已逐步趋于稳定,提款规模占资产管理规模的比例非常小

    11月2日,据官方消息,币安已于 2026 年 11 月 1 日 14:00(东八区时间)起分阶段恢复提现服务。截至 20:36(东八区时间),首批涵盖的全部 15 个网络与资产均已恢复提现。提现量在最初短暂激增后已回落,并如预期逐步趋于稳定,充值量则持续保持较高水平。 11 月 1 日 14:00 至 23:30(东八区时间)期间,我们共处理了 46.49 亿美元的提现及 10.1 亿美元的充值,净流出约 36.4 亿美元。根据截至 2026 年 10 月 28 日最新的储备证明数据,这相当于平台 1,710 亿美元资产管理总额(AUM)的 2.1%。我们已于 10 月 31 日 08:00(东八区时间)完成新一轮储备证明快照,并启动零知识证明(ZKP)计算。更新后的报告预计将于明日在储备金证明网页站公布。 我们的团队正继续对其余网络与资产进行严格测试。我们深知,安全、可靠地提取资金对您至关重要,并将尽快公布下一阶段的具体安排。请放心,目前市场状况稳定。

  • 币安恢复ETH、USDT、USDC、BNB 提现,后续资产逐步开放

    11月1日,币安在 X 平台发布提现更新公告,已恢复部分资产与网络的提现服务: - 以太坊网络:USDC、USDT、ETH - BNB 智能链(BSC):USDC、USDT、BNB 币安表示,完成安全检查之后,会分阶段继续开放更多资产与网络的提现,后续进展将通过币安官方渠道对外发布。

  • BTC突破78000美元

    行情显示,BTC突破78000美元,现报78000.01美元,24小时涨幅达到0.97%,行情波动较大,请做好风险控制。

  • Yuga Labs系列NFT回暖,BAKC地板价24小时涨超24%

    据 Blur 行情数据,Yuga Labs 旗下系列 NFT 地板价回暖,其中: BAYC 地板价现报 12.38 ETH,24 小时涨幅 9.37%; MAYC 地板价现报 2.14 ETH,24 小时涨幅 18.4%; BAKC 地板价现报 0.38 ETH,24 小时涨幅 24.35%; Otherside Koda 地板价现报 0.99 ETH,24 小时涨幅 23.91%。 行情波动较大,请做好风险控制。