Tem que separar as coisas, dependendo do tipo de retrato, e falando de câmeras FF:
Retrato de corpo inteiro, ou grupo de pessoas, a cinquentinha manda bem (tanto a f/1.8 como a f/1.4 que é melhor ainda).
Retratos de rosto ou meio corpo de uma pessoa, a 50mm resolve, mas a 85mm f/1.8 fotografa melhor, devido a compressão dos planos, pois diminui a distorção do nariz, orelhas, etc...
Pelo mesmo motivo, para retratos de corpo inteiro e grupos a 85mm será melhor, porem neste caso a distância de afastamento da câmera em relação ao assunto tem que ser maior, coisa acima de 4 ou 5 metros (no caso das FF).
Abraços!