Foi mandado construir entre 1420 e 1433 pelo oitavo Conde de Barcelos (e, mais tarde, primeiro Duque de Bragança), D. Afonso, filho ilegítimo do rei D. João I.

No século XVI foi utilizado como residência dos Duques de Bragança, tendo depois, paulatinamente, entrado numa fase de abandono e consequente ruína. No século XIX, o Paço foi adaptado a Quartel Militar. No século seguinte, entre 1937 e 1959, o Paço dos Duques é reconstruído, sendo inaugurado a 25 de junho desse ano. As peças que decoram as salas abertas ao público pretendem criar no visitante a ilusão de que está a entrar numa casa habitada.