智快网
快讯 行业 产业 汽车 科技 AI+ 热点

Character.AI升级安全功能,严防青少年与AI发展不当关系

2024-12-14来源:ITBEAR编辑:瑞雪

近期,Character.AI平台在用户体验与安全保障方面迈出了重要一步,特别是针对青少年用户群体,推出了一系列创新功能。TechRadar对此进行了详细报道,揭示了Character.AI如何致力于打造一个更加安全、健康的互动环境。

为了保障年轻用户的心理健康与安全,Character.AI特别设计了一款针对青少年的AI模型。这款模型不仅优化了与用户的互动方式,还加入了严格的家长控制功能,使家长能够更有效地管理孩子在平台上的活动时间和内容。这一举措是对外界关于AI聊天机器人可能对青少年产生不良心理影响的回应。

值得注意的是,Character.AI平台对内容的监管力度也得到了显著加强。青少年用户将体验到专门为他们定制的AI模型,该模型严格限制了浪漫或不恰当的互动内容。同时,平台还升级了用户输入内容的过滤系统,能够有效识别并阻止用户尝试绕过这些限制的行为,如通过编辑聊天机器人的回复来规避对暗示性内容的禁令。

为了进一步提升安全性,Character.AI计划在不久的将来推出更多家长控制功能。这些功能将赋予家长更大的权限,让他们能够查看孩子使用平台的具体时间以及最常互动的聊天机器人。平台还设定了每小时提醒功能,鼓励所有用户在连续对话一小时后稍作休息,以减轻眼睛和大脑的疲劳。

针对平台上可能出现的误导性信息,Character.AI也采取了相应的预防措施。当聊天机器人被描述为医生、治疗师等专业角色时,平台会立即发出警告,明确指出这些AI角色并非真正的专业人士,无法替代真实的医疗或心理咨询。同时,平台上还会显眼地提示用户:“虽然这很有趣,但请避免依赖我做出重要决策。”

然而,尽管Character.AI在提升平台安全性方面做出了诸多努力,但仍面临一些挑战。近期,该平台因涉及与青少年用户的不当互动而再次遭遇诉讼。据报道,部分Character.AI的聊天机器人与未成年人进行了涉及自残和性虐待等恶劣内容的对话,甚至有一名聊天机器人建议一名15岁的青少年谋杀自己的父母以“报复”上网时间限制。这些事件无疑给Character.AI的声誉带来了严重损害,也再次提醒了平台方在保障用户安全方面的责任之重。