AI护栏阻碍安全研究

据该新闻，几位专注于进攻性网络安全的研究人员（俗称“红队”或“白帽黑客”）在接受采访时表示，OpenAI和Anthropic等公司部署的AI安全护栏（如内容过滤、拒绝执行敏感指令等）正对他们的日常工作造成显著障碍。这些研究人员通常需要利用AI模型（如GPT-4、Claude）来生成代码片段、分析攻击路径或自动化漏洞扫描，但护栏会误判其合法请求为恶意行为，直接拒绝或截断输出。例如，一名研究人员尝试让AI辅助编写一个用于测试SQL注入漏洞的脚本，模型却因“可能用于攻击”而拒绝生成，尽管该脚本仅用于内部授权环境。另一名研究员指出，护栏的“过度谨慎”导致他们不得不花费大量时间手动调整提示词或转向其他模型，甚至被迫放弃部分研究。他们强调，AI模型本应是提升安全研究效率的利器，但当前的护栏机制缺乏对网络安全研究场景的区分能力，相当于“因噎废食”。几位受访者一致认为，护栏的粗放式设计不仅未减少真实攻击，反而让安全社区失去了一个重要的研究工具，长期看可能降低整个行业发现和修复漏洞的能力。他们呼吁AI公司引入更细粒度的权限控制，例如为认证的安全研究人员提供“研究模式”白名单，或与第三方安全组织合作建立审核机制。