基础概念
训练集、验证集与测试集
区分三类数据各自的用途，避免评估结果过于乐观。
为什么要拆分数据
如果用模型已经学习过的数据衡量效果，结果可能无法反映它在新数据上的表现。拆分数据可以让训练与评估承担不同任务。
三个角色
训练集用于调整参数；验证集用于比较方案、选择超参数等；测试集用于在方案确定后评估表现。反复根据测试集调整方案，会降低它作为独立评估依据的价值。
防止数据泄漏
高度相似或重复的样本分散在不同集合中，可能导致评估结果偏高。时间序列任务也要注意顺序，不能让未来信息进入过去的预测过程。
记录实验条件
记录划分方法、随机种子、指标和预处理步骤，让结果能够复查。不存在适用于所有任务的固定划分比例，应根据数据量和任务特点决定。