Meus comentários:
1) A 70-200 f/4L está num patamar acima em praticamente todos os quesitos, desde qualidade de construção, passando pelo auto-foco e chegando em qualidade de imagem. Eu tenho uma e posso confirmar que, realmente, a lente não decepciona!
2) A questão do estabilizador não diz respeito a qualidade de imagem, mas sim, como o nome diz, da estabilização em situações de baixa velocidade. Se conseguir aplicar a regra de velocidade = 1/distância focal, não terá problemas. Por exemplo, ao usar os 200mm (320mm equivalentes na 80D), basta usar velocidades acima de 1/320. Isso falando de forma bem geral, pois tem gente que consegue manter estabilidade com velocidades menores e tem gente que vai borrar mesmo com velocidades maiores.
3) Não vi exemplos das fotos que o autor do tópico quer, mas concordo que talvez os 200mm sejam pouco, mesmo com o fator de corte.
4) Em se tratando de sensor APS-C, caso da 80D do autor do tópico, temos a opção da EF-S 50-250mm que entrega resultados fantásticos para o valor cobrado, e ainda cobriria 20mm a mais na parte wide e 50mm a mais na parte tele. Perderia em robustez (construção), velocidade de AF, etc... mas vejo ela como uma alternativa mais inteligente que lentes projetadas para sensores full-frame, que acabam cobrando a mais pelo vidro extra que não é utilizado neste caso.
5) Se quiser realmente ampliar pequenos pássaros no quadro, e perceber que 200, 250 ou até 300mm sejam pouco, aí a coisa começa a complicar. Uma EF 100-400mm custa um olho da cara já!