Torryburn ist tief in der Kolonialgeschichte versunken und diente als Kulisse für die Inspiration zu einem der bewegendsten Gedichte Australiens: „My Country“ von Dorothea Mackellar.
Eingebettet in sanfte Hügel in der Nähe von Gresford, im wunderschönen Paterson Valley, wurde Torryburn erstmals 1821 von John McIntyre besiedelt.
Torryburn hatte eine Vielzahl von Eigentümern, darunter die Familie Mackellar, die 1898 Besitz übernahm. Die Familie kaufte das Anwesen, als eine der schlimmsten Dürren in der Geschichte der weißen Besiedlung das Gebiet heimsuchte. Eines Abends im Jahr 1904, nach einigen Regenfällen, saß Dorothea auf der vorderen Veranda des Gehöfts und schrieb einen Brief an einen Freund in England. Jedes Mal, wenn sie aufblickte, verdichtete sich ein grüner Schleier über der Koppel vor ihr. Dieser Moment inspirierte einen Teil ihres Klassikers „My Country“ (viele Leser werden dieses Gedicht als „I Love a Sunburnt Country“ kennen).
1989 wurde Torryburn von Rob und Jenny Ferguson gekauft, die umfangreiche Renovierungsarbeiten durchführten sowie die formellen und informellen Gärten und Parklandschaften verbesserten und erweiterten. Während der Amtszeit von Ferguson wurde Torryburn ein arbeitendes Vollblutgestüt und sie hatten viel Erfolg, einschließlich ihres Stutfohlens „Ha Ha“, das 2001 den Golden Slipper gewann.