Olha, antigamente eu gravava com uma 18-55 mesmo quando era necessário, e depois de adquirir uma Tamron 17-50 f/2.8, percebi uma diferença bem grande, não apenas na qualidade de imagem, mas também porque ela tem uma abertura máxima constante, que é muito importante na hora de dar zoom. É uma lente relativamente clara, mas não faz milagre, sem luz, o jeito é abertura máxima, ISO alto e tempo de exposição baixos... Isso é um fator bem limitante, com certeza. E vale lembrar que o foco, na maioria das vezes, deve ser manual. Não sei se a D5300 possui AF contínuo em vídeos e se possuir, se vale a pena usar, mas se for igual ao da T5i, esqueça. É outro fator limitante.
Uma filmadora como a Vixia (tenho uma mais antiga) não te permite alterar muito as configurações, e isso também é bem ruim, além de comprimir muito mais a imagem e ter perdas absurdas de nitidez, cor e contraste, e um ruído visivelmente maior pelo sensor menor. No entanto é mais prática e tem um autofoco contínuo de boa qualidade.
Eu acho que vale a pena dar uma olhada no quanto de liberdade a Vixia te daria. Se ela é igual a R200, que é a que tenho, ela não te permite deixar o arquivo pesado e com mais qualidade, nem permite alterar abertura ou ISO, daí não sei se vale a pena... Entre a minha R200 e a T5i + Tamron, a T5i dá um banho...! O foco manual nem é tão problemático se for ver a diferença de resultados no final!