偏差与方差的推导2.41

[Robets2020]

概率论学的一般，对于偏差与方差的推导有以下疑问，希望大佬解答我的疑惑.

南瓜书2.5.1节，在推导公式 2.41 的3步 → 4步时， 写到“由于噪声和 f 无关，所以 f(x; D) 和 y_D 是两个相互独立的随机变量。”

疑问：D是随机抽取的数据集，y_D是数据集D中数据x的标签， f(x;D)是用数据集D训练的模型然后对y_D所对应的x的预测结果，也就是D的不同会同时导致训练的模型f(x;D)和y_D的不同。
（1）模型f(x;D)是用含有噪声的数据集D训练的，那么f(x;D) 应该是依赖y_D的，两者不是无关的。
（2）在周老师的修订中（https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/MLbook2016.htm ），写的是“考虑到噪声不依赖于f”， 即使按这个说法，是怎么得到y_D和f(x;D)独立的？

[Robets2020]

D 应该是分成了测试集和训练集， f(x; D)是用D中的训练集训练的，(x,y_D)是D中测试集中的样例（大概即南瓜书中说的 “这里暂且理解为 x 为从训练集中抽取出来用于测试的样本” ）。这样，训练集训练的f(x;D) 和测试集中y_D的是无关的。
同时，如果不同的D保持训练集不变，测试集在整个数据空间中变化，测试误差就变成了泛化误差。然后D中训练集的变化使得模型的泛化误差变成了算法的泛化误差。只是这种表示算法泛化误差的方式太绕了，不直观。
所以，理解这个推导的关键是D 被分成了测试集和训练集。
不知以上理解是否正确？

[bill-ion]

你理解的大体是正确的。西瓜书上说得不清不楚，南瓜书的解释也有问题。如果测试样例(x,y_D)是从训练集D中抽取出来的，而f(x;D)又是用包含了(x,y_D)的训练集D训练出来的f对x做的预测，那么y_D和f(x;D)就不可能独立。
另外，即使认为y_D不是从D中抽取出来的，即y_D与D无关，那么使用D作为y_D的下标也极为不合理，只会引起混乱。如果认为D划分成了训练集和测试集，那就应该强调D不是训练集，并用另一个符号比如T来表示训练集，否则还是会引起混乱。而且，测试样例(x,y_D)不必与训练集互斥，比如参考下面链接中的推导：
https://www.cs.cornell.edu/courses/cs4780/2018fa/lectures/lecturenote12.html
以上链接中参与推导的测试样例是从总体中抽取出来的，有可能在训练集D中，也有可能不在。也就是说，它会对所有的可能的输入进行测试，得到的测试误差再取平均。仔细想来，也本应该如此，训练好的模型本来就不该对输入有所挑剔，就应该对所有的输入进行测试，再取它的预测误差期望。