Eu tenho a 24-70 f/2.8 L e a 35 f/2 IS. A 28-70 bem mais antiga, dizem, é tão boa quanto a 24-70, mas como é uma lente muito velha, pode ser um problema o estado de conservação dela.
Eu gosto das duas, cada uma tem vida própria, uma não substitui a outra, recomendo ambas. Mas vou tentar ajudar na sua escolha.
A 35 f/2 IS modelo novo é bem superior ao 35mm modelo antigo. A nova é sensacional, em todos os aspectos, peso, tamanho, resolução, cores, velocidade de foco, etc.... no geral vc pode fazer tudo com a 35mm fixa. Embora possa ser mais útil em algumas situações, a 28-70 é um trambolhão, enorme e pesado.
Vai de 35mm f/2 IS, principalmente pq vc já saiu do pensamento zoom e está acostumado com fixas, tenho certeza que ao ver o resultado na tela do seu computador, vai adorar as fotos dela!!!