Bom.. Cheguei meio tarde na conversa. Mas já tive exatamente esse conjunto e acho que posso ajudar.
A 80D tem um excelente sistema de AF. Mas a nitidez da 24-105 não é a melhor do mundo.
Ainda assim, é um conjunto muuito bom. Não era pra te deixar insatisfeito.
Acho que seria legal você passar algumas informações extras pra gente.
Por exemplo, que tipo de AF você está usando (One shot, AI Focus e AI Servo)?
Está focando no mesmo botão de disparo?
Tente fotografar algumas vezes no sweet spot da lente, que é f/7.1 se não estou equivacado.
Faça fotos "iguais" pelo LW e pelo VF, para poder compará-las.
Se ainda assim, perceber que o foco não sai cravadinho pelo VF, você precisa fazer o miroajuste de foto para o conjunto. Lembro que na minha 80D eu precisei fazer isso para TODAS as minhas lentes. Enquanto a 5D MK III não precisou pra nehuma delas.