Eu analisaria essa escolha não pela qualidade, e sim pelas distâncias focais.
Descartando a 35mm da YN eu pegaria uma 40mm, mas pegando a 40mm eu já venderia a 50mm.
24mm não é uma lente "retrateira", mas isso depende muito da linguagem que vc usará, retratos podem ser feitos com qualquer lente, desde que vc saiba que uma 24mm vai deformar se comparar com uma 35mm ou 50mm.
Sua 50mm 1.8 te desaponta? Eu usava ela e achava ótima para uma lente barata. Tem lentes melhores mas não chegava a ser algo que me preocupasse a ponto de trocar só por questão de nitidez. A 50mm stm fica boa em f/2.8, igualando com a 40mm, ai vc vai ter vantagem onde, se as duas já tem 2.8 de abertura?
Eu só pegaria a 40mm se vendesse a 50mm e optasse por uma 35mm, ai como a Canon não tem uma 35mm barata ficaria na 40mm.