Skip to content

关于GPU集群训练log的疑问 #674

Closed

Description

@qubingxin

训练集样本共计31W左右,测试集样本共计2.4W左右。用2个结点进行训练,其中一个结点的日志如下:
I1130 17:48:22.723963 32583 TrainerInternal.cpp:180] Pass=2 Batch=309 samples=158208 AvgCost=0.134166 Eval: classification_error_evaluator=0.0493528
I1130 18:01:22.744444 32583 Tester.cpp:101] Test samples=51200 cost=0.34299 Eval: classification_error_evaluator=0.160273

  1. 其中训练样本的samples是15W多,是否可以理解为31W除以2个结点得到的数字?
  2. Test samples在log中是5W多,是原始数据的2倍多,请问为何有这样的数据量差异?

Activity

  1. backyes commented on Nov 30, 2016

    @backyes
    Collaborator

    Check #448, 看看是否有关系

    我们也在简化这块的逻辑,#411

  2. self-assigned this
    on Nov 30, 2016
  3. reyoung commented on Dec 16, 2016

    @reyoung
    Collaborator

    这个issue已经fix了。

    原来Paddle在测试的时候,测试数据可以配置使用部分数据,也可以使用更多的数据。每一个测试周期实用的测试数据数量,和用户提供的测试数据总数没有什么关系。并且都使用--test_period参数控制。

    目前将这块的逻辑修改成了每次测试全量的数据,--test_period用来控制测试间隔。

  4. added a commit that references this issue on Dec 9, 2021
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions