Sim, isso é o que sempre notei, a latitude diminui bastante com o aumento do ISO. Pra mim, esse é o fator que mais me limita no uso dos ISOs altos; a maior parte dos ruídos pode ser tratada sem muitos problemas, mas a perda de latitude não tem jeito não... Afeta os pretos, afeta as cores no geral, chapa a imagem...
Não sei de nada muito científico para explicar isso, mas empiricamente é uma convicção minha.