Olá Tatiane
Acredito que o erro pode esta relacionado com:
Você não está usando o CFOP certo (precisa CFOP de devolução) se usar CFOP errado, o sistema pode entender que não é devolução e force outros valores ou impostos.
Os valores (base, valor da mercadoria) devem coincidir com os da nota original, especialmente segundo o manual de devolução. Se você está devolvendo só parte, precisa calcular exatamente a parte proporcional (mesmo NCM, mesma base, etc).
O sistema que você está usando para emitir a nota pode ter alguma limitação ou bug na parte de devolução parcial.
Caso não seja nenhuma dessas opções, recomendo abrir uma demanda no canal da SEFAZ-RJ para DF-e, descrevendo seu problema (erro de valor, devolução parcial). Anexe print da tela do erro e um exemplo da nota original, isso ajuda bastante para o suporte técnico entender seu caso.
Espero ter ajudado.