Acho que é um conjunto de motivos:
1. ficaria uma câmera muito cara, e acho que o consumidor (com poucas exceções) só quer pagar muito por uma câmera de aspecto profissional (ou seja, uma DSLR enorme);
2. é difícil iluminar as bordas de um sensor tão grande e tão próximo da lente, em especial com lentes angulares. A Leica teve esse problema com a M8 e só resolveu na M9, e mesmo assim deve ser caro fabricar o sensor (as microlentes das bordas são levemente inclinadas para o centro);
3. não tenho certeza, mas acho que como um sensor grande precisa de grande poder de processamento ele acaba consumindo muita bateria, e a bateria precisa ser grande, o que é um problema para as dimensões da câmera. A Olympus EP1/2, Sigma DP1/2 e Leica X1 possuem pouca autonomia de bateria, acredito que por conta de usarem uma bateria pequena demais pro sensor e processador grandes;
4. uma das principais questões: os fabricantes são muito medrosos. Demorou 300 anos pra alguém lançar uma compacta com sensor grande e lentes intercambiáveis, mas depois que o micro 4/3 fez sucesso todo mundo copiou o conceito. É preciso gastar uns milhões de dólares pra desenvolver um produto, então os fabricantes tem medo de investir em algo novo que pode dar errado. Por isso que nós vivemos num mundo de mesmices... mesmo sensor, mesmos projetos de cãmera, mesmas filosofias... com raras exceções (na maioria das vezes das menores empresas).