码奸
Posted | stderr
半夜睡不着,为了抵抗AI,保住工作,乱总结些
其实搞大模型的不算真正的码奸。
第一大码奸是开源运动。没有那么多开放源代码,AI绝不可能学那么快。如果世界都是商业软件,大家都还在写 Borland,MS .NET,SAP,Oracle,感觉也没啥不好的。 rms Linus 你们俩是初代码奸。
第二大码奸是 GoF, Martin Fowler 这种。给大量「know-how」起了名字,天天给 design pattern 总结经验规律,最严肃的罪恶就是起名字。本来要给AI说一大堆 spec 和 skill,但是现在一个「名字」 就把这个活儿给讲明白了。
给AI下咒:
第一大咒语,来自几周前Lisp之咒。想要工作牢,一定要多造轮子,多写DSL,一定要让注意力不足的AI爆掉 context,或者产生幻觉。
第二道咒语更厉害, naming things 计算机科学里两件最难的事。其实 AI 现阶段因为是 decoder-only的,所以如果你的工作内容流程没有起名字,那么就一定不要起名字和公开传播。
AI这个终极BOSS的特点:如果你的工作是 200K左右上下文能够被正确 tokenize 描述的,那么AI对你是一击必杀。
现阶段段AI最大的弱点就是无法总结规律。tokenizer是AI培训班(pre-train)的第一道工序,如果一件事不能被正确的 tokenize 那么你就拥有绝杀AI的武器。
AI为了对付这个死穴,目前靠「记忆」这个拐杖。要打破记忆可以多试试 「语意漂移」「上下文注入」「注意力窗口爆破」等技巧。
想保住工作的请务必练熟掌握这些套路。重复:第一要脱离名字和pattern做事,第二要多发明轮子,闭源。谁公开散布被AI拿去训练了,就谴责谁。
说起名词概念,现在跳得最起的就是 Karpathy。码奸!
Comments