Vai depende muito do seu uso e nível de exigência.
Sim, a 16-35 f/4 é a mais nítida de todas, inclusive sendo melhor nesse quesito que a própria irmã mais cara f/2.8, especialmente nas bordas e nas distâncias focais menores (alí entre 16 e 20mm). Agora se esse ganho em nitidez vale o que custa, aí é com você.
O mesmo se aplica ao estabilizador: que tipo de foto imagina fazendo onde esse recurso seja útil? Geralmente levará um tripé, correto? Ou acaba fazendo bastante fotos com baixa velocidade e gostaria de usar velocidades mais lentas? Novamente, só você para responder.
Eu tenho uma 17-40 e gosto muito dela, foi uma lente que decidi comprado com base na ideia de ângulos mais abertos e, realmente, não me arrependi. Se pudesse pagar a mais pela 16-35, de fato, acho que pagaria. Mas somente se me sobrasse muita verba. Antes pensaria em continuar com a 17-40 e investir em outras lentes que não tenho...
Ah, por fim... esses 5mm a mais indo até 40mm a mim são úteis, então é um ponto bacana dessa lente em sua defesa!