训练集样本共计31W左右,测试集样本共计2.4W左右。用2个结点进行训练,其中一个结点的日志如下: I1130 17:48:22.723963 32583 TrainerInternal.cpp:180] Pass=2 Batch=309 samples=158208 AvgCost=0.134166 Eval: classification_error_evaluator=0.0493528 I1130 18:01:22.744444 32583 Tester.cpp:101] Test samples=51200 cost=0.34299 Eval: classification_error_evaluator=0.160273 1. 其中训练样本的samples是15W多,是否可以理解为31W除以2个结点得到的数字? 2. Test samples在log中是5W多,是原始数据的2倍多,请问为何有这样的数据量差异?
Activity
backyes commentedon Nov 30, 2016
Check #448, 看看是否有关系
我们也在简化这块的逻辑,#411
reyoung commentedon Dec 16, 2016
这个issue已经fix了。
原来Paddle在测试的时候,测试数据可以配置使用部分数据,也可以使用更多的数据。每一个测试周期实用的测试数据数量,和用户提供的测试数据总数没有什么关系。并且都使用
--test_period参数控制。目前将这块的逻辑修改成了每次测试全量的数据,
--test_period用来控制测试间隔。rm fluid.core in desigin_idea (PaddlePaddle#674)
Update0309 (PaddlePaddle#681)
Merge pull request PaddlePaddle#674 from linjieccc/textcnn