Desde su boda en 1974, Patrick Duffy estuvo casado con Carlyn Rosser, una ex bailarina que era diez años mayor que él. Tuvieron dos hijos, Padraig Terence y Connor Frederick, así como cuatro nietos.
Aunque en la prensa internacional circulaban rumores de que la esposa del actor se encontraba en estado grave, él se mostró reservado y tomó un breve descanso del ojo público.

La verdad ha salido a la luz, y parece que Carlyn Rosser falleció repentinamente a principios de 2017 y fue enterrada en silencio por su familia. Unos meses después, Patrick Duffy informó a sus seguidores en Twitter sobre el sufrimiento que estaba experimentando:
«En este día, exactamente hace seis meses, mi corazón dejó de latir. Como ella quería que siguiera respirando, se aseguró de que lo hiciera. Pasaremos el resto de nuestras vidas juntos.»
«Aprecio la amabilidad y consideración que me han mostrado. El actor había ganado su batalla contra el cáncer de piel cuatro años antes de la tragedia que le ocurrió.»


Mientras trabajaba en el set de la serie de televisión «Dallas», Patrick Duffy se enteró de que sus padres, Marie y Terence Duffy, habían sido asesinados en 1986 en el local del bar que regentaban.
Dos jóvenes, Kenneth Miller y Sean Wentz, fueron identificados como los perpetradores del robo a mano armada y fueron arrestados de inmediato.
Ambos recibieron una condena de 180 años de prisión por sus crímenes, pero después de que Wentz admitiera ser el tirador, Miller fue liberado al año siguiente.