安能摧眉折腰事权贵，使我不得开心颜

过去

两年八个月前，离职了工作十年多的公司，告别了自己一手创建的团队，以及众多从零到一到服务上亿用户的项目。心中没有遗憾是不可能的，但确实难以坚持下去了，当时肺炎咳了几个月，新项目又做的心力憔悴，不堪重负，就坚持离开了。

现在回过头来看，正赶上大语言模型技术突飞猛进的三年，出来了，被竞业两年，让自己错过了参与其中的机会。不过万事有好有坏，闲暇下来，就有时间把之前做过或者想做而没做的很多事，又一一做起来了。有时也会因为出去旅行搁置很长时间，有时也会连续多周沉浸其中。三个大项目Text Matx Zero 基本上在去年底前完成了，那时候还没有Code的大爆发，不然的话很有可能就做不出来了。

现在

这个月，主要是整理，把做过的项目结构重新编排，把写的文档重新编辑，都置放在“是语”下面，开源出来，希望能持久存活下去。有了大模型，做这些繁琐的整理的事情真的方便了太多。

以下是这两年多来投入的项目总结：

  • 三本书以及配套项目，围绕语言模型的底层实现，Text，Zero，Matx。严格来说Matx是半成品，具体没完成的原因文档里也解释了，就不多说了。
  • 两套模型，BERT 和 GPT ，BERT 专注字分类任务，包括CWS/POS/NER 以及 Correction，以及CRF 工具 Wapic ；GPT 专注机器翻译，尝试了ReTok SFT CPO GRPO。都是低成本，以一张RTX 4090卡做到SOTA。
  • 两个产品，一个是输入法，自认为开源出来的里面做的还是可以的，不过我也承认跟商业输入法比效果还不行，之后努力。再一个是人物志，这个更多是弥补当年的夙愿，不多提了。

以后

过了这个月，可以说当年离职的遗憾都烟消云散了，把我自己想做的事情都做的差不多了。接下来，我想做些有社会价值，能得到反馈的事情。放出来的这些项目里，输入法是值得继续投入的，也是能触达到更多终端用户的，就像Musk把Twitter都开源了一样，我相信一个高度开源的输入法，且能把效果做到很好，是有很大的社会价值的。而且做这个不需要太大成本。

再就是写一些技术文章，比如谈谈Tokenizer的细节，为什么认为TikToken以及SentencePiece其实还不够好。再比如谈谈输入法Decode的细节，该怎么做输入补全。而做这些都是希望能触达到更多用户，这样才有反馈，才能监督自己是真的在做正确的事以及是否做的正确。

还有就是，我有六张显卡，虽然不能万卡集群去做大模型，但还是能力所能及的做些小模型，相比开放权重，我这边就把全部细节都开源了吧，多做些低成本的实践，一起走在人工智能的道路上。