新手请教一下大佬，我现在想让大模型完全记忆一个代码仓库的代码，我是放在预训练阶段呢呢，还是放在SFT阶段呢，或者其他阶段呢？

[kill136]

如题，在不同阶段，这个仓库的代码数据集格式，是否不同？，需要预处理特定的格式吗？ 比如这个仓库地址：https://github.com/nocobase/nocobase

[jingyaogong]

需要很强记忆力的任务放在pretrain阶段

后训练，也就是基于通用pretrain模型继续做小学习率的post-pretrain，过拟合这个仓库即可

指令微调是需要对话模版数据，是高度有监督的过程，数据质量要求很高，不适合。

[kill136]

需要很强记忆力的任务放在pretrain阶段

后训练，也就是基于通用pretrain模型继续做小学习率的post-pretrain，过拟合这个仓库即可

指令微调是需要对话模版数据，是高度有监督的过程，数据质量要求很高，不适合。

感谢大佬指教，想做一个类似cursor的IDE ，需要现做一个本地化的代码模型，实时强记忆整个仓库，想多讨教一下：post-pretrain 数据集如何制作呢，有什么特别格式吗，如何保证整个仓库的整体性呢？