Oi Rafafloyd,
Eu recomendei Panasonic apenas pela portabilidade, você estaria bem servido com as PEN também. Se fotografar em Raw, no final das contas quem vai ser o responsável pelo Jpeg será você, podendo deixá-lo como quiser.
Eu vejo que na Olympus, uma EPM1 com uma fixa de 17 ou 20 mm te atenderia em portabilidade, já que está acostumado a uma D60. Tem também as EPL 1 e 2, que você ainda encontra em lojas a preços interessantes, porém esse desempenho que você se refere da Olympus em jpg é melhor nas EP3, EPL3 e EPM1.
Outra coisa que você vai notar nas fotos de M4/3 é a uniformidade de nitidez por toda a imagem, você vai ver que os cantos são praticamente tão nítidos como o centro, mesmo com as lentes mais baratas.
Nas DSLR, dependendo da lente, principalmente as zoom mais em conta, os cantos ficam muito piores que o centro.