Não importa a extensão. A extensão é só um "hospedeiro", o que conta é o CODEC. Pode ser até AVI mesmo(não recomendado se for full HD), desde que seja usado o CODEC H.264, que é o padrão atual usado. Filmes em divx tem qualidade boa com tamanho pequeno, e muitos são AVI.
Eu uso MOV H.264, MOV é um dos containers mais flexíveis que tem.
WMV funciona bem e tem qualidade boa, mas é um formato proprietário da microsoft, ao contrario do H.264 que é padrão da industria e funciona em todos os sistemas.
Compactação:
1080p - use 8mbps de vídeo e 384kbps de áudio pra ter máxima qualidade no youtube.
720p - 5mbps de vídeo e o mesmo de áudio acima.
480p - 2,5mbps de vídeo e 128kbps de áudio.