Haus Letmathe gehörte zu den im limburgischen Zwergstaat vereinigten Rittergütern. In der oft wechselnden Besitzfolge setzte die um 1546 eingeheiratete Familie von Brabeck von Haus Brabeck aus der Gemeinde Kirchhellen für 200 Jahre einen Ruhepunkt. In dem von Johann Brabeck 1605 errichteten Neubau (heutiger Südflügel) wurde 1619 Jobst Edmund von Brabeck, der spätere Hildesheimer Fürstbischof (+ 1701) geboren. Weitere namhafte Besitzer des Hauses waren der Politiker Carl Overweg, Mitglied der Frankfurter Nationalversammlung, des Abgeordnetenhauses und des Reichstages und sein Sohn August, der erste Landeshauptmann der Provinz Westfalen. (Quelle: Iserlohn-Lexikon).

Neue Erkenntnisse brachte das im Mai 2002 vorgestellte bauhistorische Gutachten.

Auf diesem Bild vom Kirchturm des Kiliandoms ist auch noch die Tenne zu sehen, die später abgebaut wurde und heute im Westfälischen Freilichtmuseum, Mäckingerbach, in Hagen zu bewundern ist.