0 init
1 init
2 init

0 allreduce 5e4 5e8
1 allreduce 5e4 5e8
2 allreduce 5e4 5e8

0 compute 5e8
1 compute 5e8
2 compute 5e8

0 finalize
1 finalize
2 finalize
