A diferença de tamanho entre os sensores das câmeras que vc citou é muito pequena, pois ambas são APS-C, a T3i tem 22,30 x 14,90 e a D5100, 23,60 x 15,60, acredito que não influencie tanto a qualidade da imagem - é uma diferença de menos de 1mm tanto na vertical como na horizontal.
A T3i tem 18Mpixels, contra 16,2Mpixels da D5100, o que favorece a Nikon - menos pixels em um espaço semelhante.
Acredito que a diferença seja o processamento entre as duas, não se esquecendo tbm das lentes utilizadas.
Fonte da comparação dos sensores:
http://cameraimagesensor.com/size/#20,29,22,11,a (comparei tbm com as duas full frame da Nikon e Canon, note que não há diferença de tamanho entre as FF da Nikon e Canon)
Abcs.