陈少文的网站Recent content on 陈少文的网站马上订阅 陈少文的网站 RSS 更新: https://www.chenshaowen.com/atom.xml什么是 Token微信公众号2024年9月10日 18:00整理机器学习大模型Token什么是Token 是一个与数据紧密相关的单位，可以用来度量训练模型所需的语料量，还可以用来度量推理时的输入和输出长度。 1. token 是什么 Token 可以是一个完整的单词、子词，甚至是一个字符。在语言模型中，文本被拆分为若干个 token，模型逐一处理这些 token 来生成预测或生成新文查看完整文章