Não vejo o sentido da base de código definir o tamanho do lote em um nível por GPU. Isso significa que é necessário alterar o parâmetro de tamanho do lote manualmente ao fazer o experimento de dimensionamento para cima/para baixo. Acho que historicamente feito em base de código que não tem grad acc?