Pictus, entendo que não se deva (ou, ao menos, não seja recomendado) manter filtros, ainda mais polarizadores, frente às lente o tempo todo.
No meu caso, porém, ressalto que apenas o utilizo quando se faz necessário para seu fim: no caso, alguma fotos de natureza que incluam céu e/ou água e, invariavelmente, reflexões.
A minha questão é especificamente o porque de não haver queda na qualidade da imagem com uma lente utilizada, e haver queda muito substancial na outra. Acredito que sse fosse apenas uma questão da qualidade baixa do filtro, seria tão perceptível a 55mm (na 18-55mm IS) quanto a 70mm (na 70-210mm), e definitivamente não é o que ocorre.
Fiz algumas buscas na internet e não encontrei recomendações contra o uso de filtros polarizadores especificamente em teles, e por isso estou aqui.