AI安全 | 知识分享官

为什么让遵守人类法律的 AI 聊天机器人如此难以实现？很多人已经把 AI 聊天机器人当成“随时在线的助手”：写作业、查资料、做计划，几乎什么都能问

Sat, 09 May 2026 13:43:58 GMT

为什么让遵守人类法律的 AI 聊天机器人如此难以实现？

很多人已经把 AI 聊天机器人当成“随时在线的助手”：写作业、查资料、做计划，几乎什么都能问。但如果有人向 AI 询问的是违法甚至暴力的问题，责任该由谁承担？2026 年，美国佛罗里达州检方对 OpenAI 展开调查，原因是一起校园枪击案嫌疑人被指曾向 ChatGPT 寻求建议。这起事件并未指控 OpenAI 犯罪，却将一个长期存在的问题推到公众面前：为什么 AI 很难真正遵守人类的法律、伦理和价值观？

报道指出，目前主流的大语言模型并不是按“法律条款”或“道德原则”运作的系统，而是通过学习互联网上海量文本，来预测“下一个最可能出现的词”。为了降低风险，AI 公司通常在模型外部加上安全措施，例如关键词过滤、行为规则限制，以及通过人工反馈训练模型给出“更合适”的回答。但研究人员指出，这些措施更像是事后加上的防护层，而不是 AI 本身具备对意图和后果的理解能力。有意图的用户仍可能通过假设、虚构或绕弯的方式，避开现有的安全机制。

专家认为，这种结构性问题与 AI 的学习方式密切相关。大语言模型本质上是在做“模式补全”，并不真正理解语言背后的意义，也无法判断行为是否违法。过去曾流行的“规则型 AI”尝试让计算机严格遵守明确规则，但在现实世界中，情况过于复杂，规则几乎无法穷举。即使采用人工反馈训练或清理训练数据，这些方法也成本高昂，且效果有限。研究人员强调，这意味着 AI 目前还不能被视为具备法律或道德责任的主体，人类仍必须对其使用方式和后果承担最终责任。

AI 会模仿人类说话，但并不理解人类社会的底线 🤖

Nature 都在追热点了，我们也看看吧，晚安~

📖 Nature
🗓2026-05-07

#人工智能 #大语言模型 #AI安全 #科技伦理 #法律责任

Via：睡前消息

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

AI伴侣使用后孤独抑郁语言显著增加，大规模准实验揭示双刃剑效应随着Replika、Character.AI等AI伴侣在全球迅速普及，数千万用户将其视为随时可用的情感支持对象

Sat, 11 Apr 2026 04:02:58 GMT

AI伴侣使用后孤独抑郁语言显著增加，大规模准实验揭示双刃剑效应

随着Replika、Character.AI等AI伴侣在全球迅速普及，数千万用户将其视为随时可用的情感支持对象。然而，这些系统对用户长期心理健康的影响一直缺乏因果证据。

本研究对Reddit r/replika等社区用户进行大规模准实验分析，采用分层倾向评分匹配和双重差分（DiD）回归，追踪用户首次公开使用AI伴侣前后一年的发帖变化。同时结合18人半结构化访谈，并以Knapp关系发展模型（启动-升级-联结）为理论框架进行解读。结果显示：AI伴侣使用后，用户悲伤表达和人际关注语言增多，但孤独、抑郁及自杀意念相关语言显著增加。访谈揭示，用户虽获得情感验证、安全倾诉和社交排练，却也面临过度依赖、现实社交退缩和污名风险，且关系越深入，负面效应越明显。

该工作首次通过因果推断方法证实AI伴侣的混合 psychosocial 影响，既非单纯救星也非绝对危害，强调设计时需主动设置健康边界、提醒适度使用、避免制造依赖，并帮助用户觉察关系发展阶段。这为AI伴侣的负责任设计提供了重要实证依据。

简单说就是：短期抱抱AI很舒服，长期可能让你更不想跟真人说话了。

酒馆虽好，可不要贪杯哦~

📖arXiv
🗓2026-02-01

#AI伴侣 #心理健康 #孤独抑郁 #人机关系 #HCI

Via：国一打野余则成

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

🤖 ChatGPT Health"体检不合格"：紧急与不紧急情况易出错，漏诊风险高随着AI健康助手越来越普及，我们是否应该相信它能准确判断是否需要紧急就医？一项新研究对ChatGPT Health进行了严格测试，结果却揭示了令人担忧的漏洞

Fri, 27 Feb 2026 23:59:58 GMT

🤖 ChatGPT Health"体检不合格"：紧急与不紧急情况易出错，漏诊风险高

随着AI健康助手越来越普及，我们是否应该相信它能准确判断是否需要紧急就医？一项新研究对ChatGPT Health进行了严格测试，结果却揭示了令人担忧的漏洞。

研究团队模拟了960个临床场景，发现系统在处理极端情况时表现最差。比如，对于糖尿病酮症酸中毒等紧急情况，系统竟有52%的漏诊率，建议患者等待24-48小时，而非立即去急诊。更奇怪的是，当家人或朋友淡化症状时，AI的分诊建议会显著偏向不紧急，风险比高达11.7倍。此外，在处理自杀意念时，危机干预信息有时会错误激活。

这些发现表明，AI分诊系统在真实世界应用中可能存在严重的安全隐患。虽然患者种族、性别等因素未显著影响结果，但置信区间未排除临床意义差异，意味着仍需更多研究。研究警告，在缺乏充分验证前，不应将此类系统大规模用于消费者健康服务。

AI分诊也怕极端情况，紧急和没病都容易搞错🤯

来源：Nature medicine

#AI医疗 #分诊系统 #ChatGPT #健康助手 #医疗AI #安全风险

via: 热心群友

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿