Existem quase um milhão de respostas sobre isso, porém vou falar a minha pra você.
Pra vídeo seria a D5300, ela filma 1080p em 60 frames (Ps. a Nikon não é boa pra vídeo, uma Canon é bem melhor)
Quanto a qualidade de imagem não há diferença, as 2 entregam a mesma foto. Entenda uma coisa, fábricas não mudam o sensor tanto de uma camera pra outra, por exemplo, sensor da D5300 é o mesmo da D7100, ou seja, em imagem as duas são iguais, o que muda de uma camera pra outra são recursos, por exemplo a D3300 não tem o LCD articulado e D5300 tem, uma nao tem GPS a outra tem, entre outras coisas. Uma dica importante é que nenhuma da linha D3xxx ou D5xxx controla flash externo (isso resolve com rádio flash) porém ela não sincroniza Auto FP (isso é um problema pra mim) e ainda não tem foco interno (isso não é problema pra mim)
Eu tenho uma D5300, comprei só por causa da LCD articulado, o qual eu uso mesmo devido a um trabalho que já faço, pra segundo fotografo ela até vai bem.