Tem uma chave seletora na lateral que limita o foco pra um determinado range, deixando ele um pouco mais veloz.
Mas isso é normal, mesmo com motor USM as lentes macro são muito lentas e caçam foco um pouco, por conta da distância focal gigantesca que elas cobrem.
Tente usar o anel de foco para colocar a lente manualmente no infito, e depois foque com o AF, isso ajuda.