Já tive as duas, posso dizer um pouco.
A 24-70/4L é melhor em praticamente tudo em relação à 24-105/4L. Menor, mais leve, qualidade de imagem ligeiramente melhor (menos distorção em 24mm e desfoque de fundo um pouco mais suave), e estabilizador mais eficiente e silencioso. Além disso, tem o tal modo macro de 0,7x, que é fenomenal para detalhes, muito bacana.
Mas a 24-105/4L tem a seu favor os 105mm que, dependendo do tipo de uso, pode ser determinante. Eu gosto bastante dela, já troquei pela 24-70/2.8L (versão antiga) e voltei pra 24-105/4L, já troquei pela 24-70/4L e voltei pra 24-105/4L... Tudo por conta desse range tão versátil, pau pra toda obra.
Mas enfim, recomendo qualquer uma das duas, são muito boas.