目录 导读 常见错误 #1 你没有首先尝试过拟合单个batch 常见错误 #2: 忘记为网络设置 train/eval 模式 常用的错误 #3: 忘记在.backward()之前进行.zero_grad() 常见错误 #4: 你把做完softmax的结果送
目录
- 导读
- 常见错误 #1 你没有首先尝试过拟合单个batch
- 常见错误 #2: 忘记为网络设置 train/eval 模式
- 常用的错误 #3: 忘记在.backward()之前进行.zero_grad()
- 常见错误 #4: 你把做完softmax的结果送到了需要原始logits的损失函数中
导读
这4个错误，我敢说大部分人都犯过，希望能给大家一点提醒。
最常见的神经网络错误：
1)你没有首先尝试过拟合单个batch。
2)你忘了为网络设置train/eval模式。
3)在.backward()之前忘记了.zero_grad()(在pytorch中)。
4)将softmaxed输出传递给了期望原始logits的损失，还有其他吗？