基础概念
文本如何变成模型输入
认识分词、词元与上下文长度,理解文本输入的基本过程。
词元不等于一个汉字
分词器把文本切分成词元,再映射到数字编号。词元可能是一段词、一个字符或其他文本片段。不同分词器对同一段文字的切分结果可能不同,因此不能把词元数量简单等同于字数。
上下文是什么
上下文是模型在本次生成中能够使用的输入信息,包括当前问题和被保留的前文。上下文窗口限制了可处理的词元总量;具体限制需要查阅所用模型的说明。
整理输入的方法
把任务目标、已知事实和输出要求分别写清楚。过长的输入可以先删去重复内容,再保留与任务相关的材料。对于关键依据,应提供原文片段而不是只给出模糊描述。
一个观察练习
选择一段中文、一段英文和一段代码,用同一个分词器观察它们的词元数。这个练习的重点是比较差异,而不是寻找固定的字数换算公式。