Duffus può essere considerato un raro esempio di motte-and-bailey castle scozzese. Dalla sua collina artificiale, posta al centro di un area delimitata da fossato, domina tutto il vasto territorio agricolo circostante. Un tempo questo terreno era occupato da grande Loch Spynie, ormai quasi del tutto prosciugato. La costruzione di Duffus risale al 1151, fu una roccaforte reale concessa in seguito a Hugo Freskin da Strabock nel West Lothian che in seguito adottò il nome di Moray. Al tempo la struttura di Duffus era in legno.

Il Castello fu occupato dagli Inglesi e per questo bruciato dagli Scozzesi nel 1297. L'attuale Keep [mastio] in pietra è frutto della ricostruzione conseguente a questo evento. Nel 1452 il castello fu di nuovo distrutto e durante l'ennesima ricostruzione furono aggiunti il salone e altri edifici vari. Fu abbandonato alla fine del 17° secolo.

Lasciata l'auto nell'apposito parcheggio entriamo nell'area della fortificazione dal lato opposto all'ingresso principale, è consigliabile tenere la sinistra e seguire il fossato fino a giungere ai resti dell'antica stradella lastricata che ci conduce all'interno delle mura del recinto [bailey]. In corrispondenza a questa sul fossato troviamo l'antico ponte, un tempo unico accesso. Le rovine di alcuni degli edifici del cortile sono proprio sotto il keep. Una serie di scalini ci portano sul vertice della motta verso la stretta entrata del keep. Da qui è possibile notare tutto l'angolo nord orientale crollato ai piedi della collina a causa di un cedimento strutturale delle fondamenta. Nello stesso punto possiamo vedere una latrina ancora intatta ricavata nello spessore delle mura. In molti altri punti possiamo notare segno di cedimenti, anche nella parte della Great Hall ricostruita nel 15° secolo. Molto probabilmente la costruzione in pietra con le sue spesse mura era troppo pesante per la motta nata per ospitare una struttura lignea, infatti pur acquistato nel 1705 da Sir Archibald Dunbar il castello non fu mai restaurato. La più confortevole Duffus House fu costruita a un miglio di distanza.