“三只羊卢某”网传录音系大模型伪造,AI安全问题何解?

tamoadmin 0

专题:合肥通报“三只羊”直播带货调查情况:罚款6894.91万元

界面新闻记者 | 伍洋宇

界面新闻编辑 | 文姝琪

“三只羊卢某”网传录音系大模型伪造,AI安全问题何解?
(图片来源网络,侵删)

  以“三只羊”为***核心的舆论仍在继续发酵,这次是由录音伪造引起的AI安全顾虑。

  此前,三只羊网络科技有限公司因直播带货的“香港美诚月饼”涉嫌虚***宣传、欺骗消费者等问题引发舆情风波。同一时间,网上一段流传的“三只羊卢某某”录音为这家MCN招致更多批判声音。

  该录音显示为“三只羊卢某某”在酒后的一段言论,内容牵连三只羊旗下多位女主播,整体呈现卢某面对市场与消费者持有的傲慢态度,以及对相关人士的不尊重表达。

  9月26日晚,合肥市公安局高新分局通报,该局接三只羊公司报警称,网上传播涉卢某某的音***不实,严重侵害其合法权益。经过侦查,9月22日晚,该局将犯罪嫌疑人王某某(男,25岁)抓获,并在其电脑、手机和制作AI音频的网站中发现伪造相关音***的证据;结合其供述、调查取证,并经部、省专业机构检验鉴定,认定报案所涉网传音***系伪造。

  随后,9月27日,一家名为Reecho睿声的AI公司发布声明称,近日,公司收到合肥警方调取证据通知书,针对网络上广泛传播的“卢某录音门”***所涉及的音***部分,经与合肥警方配合查实,确系嫌疑人使用该司自主研发的AI配音大模型平台,由卢某此前直播片段的约30秒录音进行克隆,并通过文本进行生成。

  上海大邦律师事务所高级合伙人游云庭对界面新闻记者表示,在上述案件中,嫌疑人王某某涉嫌诽谤罪,行为特征是以虚构的事实毁坏他人声誉。卢某可以要求发布内容的网站删除侵权内容,并且在刑事调查结束,取得相应法律文书后民事***侵权者。

  随着人工智能技术的飞速发展,AI技术已经渗透到社会生活的各个角落,但随之而来的AI安全问题也日益凸显。在这背后,以AI技术对他人的音***素材进行“克隆”并恶意使用成为AI安全问题的重灾区。

  目前市场上的AI大模型音***生成产品涵盖了多个领域,包括但不限于***内容创作、音频处理、角色动画合成等。这些产品一方面从效率层面为大量企业和个人用户带去了便利,但另一方面也成为不法分子的牟利工具。

  今年以来,全国各地已经发生多起“AI换脸”导致的***案件。其中,一起发生在香港的***案件涉案金额高达2亿港元,而犯罪嫌疑人正是使用Deepfake技术“AI换脸”和AI音频合成了一场“高管会议”。

  面对这些容易紊乱视角或直接导致财产损失的AI安全问题,除了公众层面的每一位个体都对接受的音***内容提高警惕性与分辨能力,在产品层面,平台如何从技术与法律的角度预防负面***的发生也同样重要。

  就前述案件中提供技术的公司是否要担责的问题,游云庭表示,还是要看该公司是否履行平台的合规责任。“根据互联网信息服务深度合成管理规定,如果履行了合规义务的,我觉得他们责任比较小,否则的话会有麻烦。”

  首先,该公司需要进行算法备案,并在实际运行当中使用的是备案算法。其次,公司应该对使用的用户身份有认证,如果没有,公司也会存在法律风险。另外,平台应当对用户进行提示,要求用户不得利用平台的服务进行违法行为。

  ReechoAI睿声***显示,其是由深圳市言域科技有限公司提供的AI语音大模型技术产品及AI有声内容社区。经界面新闻记者在互联网信息服务算法系统查询,“深圳市言域科技有限公司”这一主体旗下暂无相关备案记录。另外,其关联主体“深圳市呦络科技有限公司”也无备案记录。

  在技术角度,游云庭认为需要判别一个问题,即对于用户生成的可能涉嫌违法的内容,这些内容根据现有的识别违法和不良信息的特征库,是否能审核出具有违法属性。“如果明显涉嫌违法的,但他们没有审核出来的,也会存在问题。”游云庭表示,但更大可能性在于用户内容难以完全落实审核,这种情况下平台的责任也会较轻。

  此外,平台应当对用户生成的内容进行“AI生成”等相关标注。但由于这类生成内容被标注后的删除操作也相对简单,AI内容的辨识问题仍然任重道远。

标签: #三只羊