Pro meu uso, a distância focal de 35mm é mais útil que 50mm.
A lente que menos uso é minha cinquentinha.
A que mais uso é uma 20-35 velha de guerra.
Mas, no momento econômico atual, eu não sei se trocaria, você tem um set muito bom.
A menos, claro, que a abertura f/1.4 faça muita falta.
Como eu fotografo mais paisagens do que qualquer outra coisa, pra mim não faz.
Nos poucos eventos que faço, evito abertura máxima das lentes pra aumentar a profundidade de campo.
Por outro lado, há outra opção a se considerar: se eu tivesse a 35mm f/1.4, ela com certeza mataria ao mesmo tempo tanto a 24-105 quanto a 50.
Eu vejo como interessante ter a 35mm para uso geral e a 70-200 quando você precisar de tele. Afinal, a 24-105 e a 70-200 tem uma sobreposição de range, sendo que a 70-200 faz o serviço com mais qualidade.
Você poderia vender tanto a 50mm quanto a 24-105 e comprar a 35mm. Perde-se um pouco de versatilidade, mas ganha-se bastante em qualidade.
Mas se a grande angular for fazer falta a troca que eu sugeri já não seria tão válida.
Enfim... são muitos fatores a considerar.
Boa sorte e boas fotos!