主题：ChatAI 使用初体验(0) -- shuyong

前面说过，CHAT AI之所以不能参与中间阶段的开发，主要是遗忘和幻觉的问题，以及行为不确定的问题。也许这些问题是同一个问题，并且可能是CHAT AI固有的问题。

以前看科普介绍人脑和电脑的区别，其中电脑是存储和计算分离，而人脑是存储即计算，每一次回忆都会对信息再加工，神经网络多建立几个链接，就会对信息有更多的处理。但是如果链接只有增没有减，系统也是不可长久运行的，于是遗忘是必须的。所以下面先谈CHAT AI的遗忘问题。

现在CHAT AI分配给个人使用的记忆空间是很有限的。我曾经让CHAT AI给我分解模块，设计接口和实现接口，讨论着讨论着，时间或长或短，CHAT AI就会忘记它们曾经设计过的某些接口，或者又会重新设计出新的接口，实现接口也是能省则省，行为飘忽不定。

对这个问题，增加记忆空间是有用的，但是成本会飞速上升。现在 ChatGPT 4.0 有 9K token , Claude 可以有 100K token。但是 100K 对于复杂的软件开发是远远不够的，而且现有的计费标准也让人吃不消。如果让CHAT AI分析和记忆一个会话的累积内容，我就看着那个钱就花花地流。对于 ChatGPT 4.0，对于一个问题的收费，从 $0.02x 上升到 $0.04x；而对于 Claude 100K，对于一个问题的收费，从 $0.4x 上升到 $0.6x，回答问题的延迟，从10秒上升到30秒，并且我很快就用完了十几个问题的额度，然后每过24小时，才给我3个问题的临时额度。就这样，我也只完成了最初步模块划分和最简单的接口设计，离完成一个可以跑起来的代码还远着呢。我估计如果再这样累积下去，一个问题收$1，回答延迟1分钟的情况很快就会出现。玩不起了。

并且用CHAT AI辅助开发软件，和与人一起开发软件，感觉还是不一样的。与人一起开发软件，进展是相对缓慢的，可能一周或数周我们都在同一个问题的上下文里进行讨论，因为反复刻印多次，对各种细节自然可以缓慢但深刻地记忆在脑子里。与CHAT AI一起开发软件，则是另外一种情景。首先，是知识的快速涌现，人脑不一定能处理得过来，有点象发洪水，大水漫过了堤坝。在短时间内，人脑只能关注一两个细节，而不可能记住所有细节。随着讨论时间一长，人脑开始遗忘细节，CHAT AI也遗忘初始问题，于是讨论话题开始游移，忘了最初想要解决的问题。对这种情况，除非我们以前曾经开发过这个软件，已经踩过各种坑，记得所有的细节，知道前进的方向，这才有可能在讨论中牢牢把握住话题的方向，否则很快就双双迷失在知识的沼泽里。

CHAT AI的第二个大问题就是幻觉。既然上述让CHAT AI开发一个完整的软件的路子走不下去，我就换了另外一个思路。我问CHAT AI是否能看见github中的开源代码，回答是肯定的。我很高兴，就想让CHAT AI在现有项目上进行重构，并增加功能。但是讨论着就发觉不对，就让CHAT AI列出它所看到的代码，其实并不是github中的代码，而是它所虚构出来的简单代码，完成程度和上面的类似。后来我又换一条思路，我从github下载下来代码，再上传给CHAT AI(上传几十KB的代码给CHAT AI可费劲了，出过各种怪问题)，让它对现有代码进行重构，并增加功能。但是接着讨论很快又发现问题，再让CHAT AI列出它所看到的代码，还是它所虚构出来的代码，并且是新的代码。这就是CHAT AI的幻觉问题。原来CHAT AI和我讨论的，既不是它以前的设计，也不是训练时给它输入的github代码，更不是我刚刚给它上传的代码，而是它当前“心中的”代码，如果它有“心”的话，那它的“心”一直在飘忽不定。

网上演示的让CHAT AI分析并重构的代码，大多功能简单，代码量也就100行以内。我尝试过让CHAT AI生成这样量级的功能简单的代码，然后对此进行讨论，CHAT AI确实也记得住，也能在这个代码上修修改改。但是如果代码量有几十KB，行数有几千行，那CHAT AI要么出现幻觉，要么拒绝工作。而实际上稍微复杂的软件项目，代码量可能是MB级别，行数上万行，CHAT AI哪时候能在这样量级的代码树上工作，那只有耐心等待了。