当前版本gpt的根本弱点

下面的东西仅限当前,不是不可以解决的。

  1. gpt系列数学能力不行,是因为它把每一个数字当成一个整体在背加法表、乘法表。没理解到十进制的精髓

上图来自2020年 GPT-3 论文 22页。主要还是因为 BPE 太糙。

  1. gpt-4能通过一些文字材料和描述感知到每个字母大概长什么样,甚至知道一些简单汉字的结构,但是确切的书写结构它是不知道的。
    所以要避免你的想法被 gpt 感知学会,得考虑每个字的偏旁部首作文章,而且你的变形得很少见。估计这个技巧在将来被AI监视的生活里会被用得上。

  2. 还有一些语音漂移它知道概念但是因为没发音器官所以不能直接感知。但这也不是不能解决,只要语料够大也能摸到规律。相比英语等拼音文字而言,汉字这类表意但是又有同音的文字应该是文本类 AI 的普遍弱点。

如果你要秘密表达一些观点,可以通过描述发音、形状或者动作但是不直接写出来让对方领会。

Comments