Fiz o mesmo teste aqui, com a Olympus E-PL5:
Modo A, f/3,5, velocidade ficou em 1/25s e ISO AUTO 1600
Modo M, f/3,5, 1/25 de velocidade, ISO AUTO 1600.
Dei uma olhada no manual da Nikon 5300 e não achei nada além de poder definir limite mínimo e máximo para a sensibilidade ISO (pag.181).
Fiz um teste mudando o modo de medição da exposição, mas aí muda a situação para cada modo, o que não é caso que vc expôs.
Esperando vir algum usuário de Nikon para esclarecer o que pode ter acontecido.