Skip to main content

Search: #AI安全

  1. 为什么让遵守人类法律的 AI 聊天机器人如此难以实现?

    很多人已经把 AI 聊天机器人当成“随时在线的助手”:写作业、查资料、做计划,几乎什么都能问。但如果有人向 AI 询问的是违法甚至暴力的问题,责任该由谁承担?2026 年,美国佛罗里达州检方对 OpenAI 展开调查,原因是一起校园枪击案嫌疑人被指曾向 ChatGPT 寻求建议。这起事件并未指控 OpenAI 犯罪,却将一个长期存在的问题推到公众面前:为什么 AI 很难真正遵守人类的法律、伦理和价值观?

    报道指出,目前主流的大语言模型并不是按“法律条款”或“道德原则”运作的系统,而是通过学习互联网上海量文本,来预测“下一个最可能出现的词”。为了降低风险,AI 公司通常在模型外部加上安全措施,例如关键词过滤、行为规则限制,以及通过人工反馈训练模型给出“更合适”的回答。但研究人员指出,这些措施更像是事后加上的防护层,而不是 AI 本身具备对意图和后果的理解能力。有意图的用户仍可能通过假设、虚构或绕弯的方式,避开现有的安全机制。

    专家认为,这种结构性问题与 AI 的学习方式密切相关。大语言模型本质上是在做“模式补全”,并不真正理解语言背后的意义,也无法判断行为是否违法。过去曾流行的“规则型 AI”尝试让计算机严格遵守明确规则,但在现实世界中,情况过于复杂,规则几乎无法穷举。即使采用人工反馈训练或清理训练数据,这些方法也成本高昂,且效果有限。研究人员强调,这意味着 AI 目前还不能被视为具备法律或道德责任的主体,人类仍必须对其使用方式和后果承担最终责任。

    AI 会模仿人类说话,但并不理解人类社会的底线 🤖

    Nature 都在追热点了,我们也看看吧,晚安~


    📖 Nature
    🗓2026-05-07

    #人工智能 #大语言模型 #AI安全 #科技伦理 #法律责任

    Via:睡前消息

    🧬 频道🧑‍🔬 群组📨 投稿
    👍 3 😁 1
  2. AI伴侣使用后孤独抑郁语言显著增加,大规模准实验揭示双刃剑效应

    随着Replika、Character.AI等AI伴侣在全球迅速普及,数千万用户将其视为随时可用的情感支持对象。然而,这些系统对用户长期心理健康的影响一直缺乏因果证据。

    本研究对Reddit r/replika等社区用户进行大规模准实验分析,采用分层倾向评分匹配和双重差分(DiD)回归,追踪用户首次公开使用AI伴侣前后一年的发帖变化。同时结合18人半结构化访谈,并以Knapp关系发展模型(启动-升级-联结)为理论框架进行解读。结果显示:AI伴侣使用后,用户悲伤表达和人际关注语言增多,但孤独、抑郁及自杀意念相关语言显著增加。访谈揭示,用户虽获得情感验证、安全倾诉和社交排练,却也面临过度依赖、现实社交退缩和污名风险,且关系越深入,负面效应越明显。

    该工作首次通过因果推断方法证实AI伴侣的混合 psychosocial 影响,既非单纯救星也非绝对危害,强调设计时需主动设置健康边界、提醒适度使用、避免制造依赖,并帮助用户觉察关系发展阶段。这为AI伴侣的负责任设计提供了重要实证依据。

    简单说就是:短期抱抱AI很舒服,长期可能让你更不想跟真人说话了。
    酒馆虽好,可不要贪杯哦~


    📖arXiv
    🗓2026-02-01

    #AI伴侣 #心理健康 #孤独抑郁 #人机关系 #HCI

    Via:国一打野余则成

    🧬 频道🧑‍🔬 群组📨 投稿
    🥰 6 🤔 4 ❤️ 1
  3. 🤖 ChatGPT Health"体检不合格":紧急与不紧急情况易出错,漏诊风险高

    随着AI健康助手越来越普及,我们是否应该相信它能准确判断是否需要紧急就医?一项新研究对ChatGPT Health进行了严格测试,结果却揭示了令人担忧的漏洞。

    研究团队模拟了960个临床场景,发现系统在处理极端情况时表现最差。比如,对于糖尿病酮症酸中毒等紧急情况,系统竟有52%的漏诊率,建议患者等待24-48小时,而非立即去急诊。更奇怪的是,当家人或朋友淡化症状时,AI的分诊建议会显著偏向不紧急,风险比高达11.7倍。此外,在处理自杀意念时,危机干预信息有时会错误激活。

    这些发现表明,AI分诊系统在真实世界应用中可能存在严重的安全隐患。虽然患者种族、性别等因素未显著影响结果,但置信区间未排除临床意义差异,意味着仍需更多研究。研究警告,在缺乏充分验证前,不应将此类系统大规模用于消费者健康服务。

    AI分诊也怕极端情况,紧急和没病都容易搞错🤯


    来源:Nature medicine

    #AI医疗 #分诊系统 #ChatGPT #健康助手 #医疗AI #安全风险

    via: 热心群友

    🧬 频道🧑‍🔬 群组📨 投稿