Vou dar meu pitaco como desenvolvedor de hardware e pelo o que eu já andei lendo por ai.
O tamanho do sensor influencia na capacidade de captura de luz. Ou seja, se temos uma quantidade X de luz que entra por um conjunto óptico e é levado para o sensor menor e quando o mesmo conjunto óptico é usado em um sensor maior, o sensor maior é capaz de captar mais luz do que o menor por ter mais área que o menor. Isso levando-se em conta que os dois tem a mesma densidade de pixels. E esse é o fator determinante. Ou seja, se em um cm2 eu tenho a mesma densidade de pixel, ai podemos fazer essa comparação. Nada adianta ter um sensor grande e ter baixa densidade.
Outro ponto importante é que se o sensor possuir uma capacidade maior de captar luz, como acontece com o sensor full frame, o sistema eletrônico de auto ganho precisa "potencializar" menos o sinal que vêm do sensor. Sendo assim, o que passa pelos filtros passa faixa e rejeita faixa, conseguem filtrar melhor os dados puros do sensor (RGB e Luminância) e excluindo melhor os ruídos inerentes da captura.
O fator ISO funciona como um pré amplificador do sinal. Toda vez que elevamos o ISO, elevamos também a relação sinal ruído fazendo com que o ruído seja mais evidente.
Então de forma bem rudimentar podemos dizer que o sensor maior é sim melhor que o menor.
O tamanho do pixel junto com a quantidade em 1 cm2 ou mm2 determinam a densidade dos pixels do sensor e também a quantidade de mega pixels do sensor.