Seit dem Jahre 1436 saßen die Herren von Harstall als Lehns- und Gerichtsherren  in Mihla. Sie begründeten mehrere Familienlinien und errichteten drei Schlösser im Ort, wovon heute das Graue und das Rote Schloss erhalten sind.

Das Graus Schloss, einstige Wasserburg der Herren von Mihla aus dem 12. Jahrhundert, wurde seit 1536 unter der Ritterfamilie von Harstall zum Renaissanceschloss umgebaut. Der wehrhafte Charakter blieb trotzdem erhalten. 1848 stürmten Mihlaer Bauern während der Bürgerlichen Revolution das Schloss. Das Gebäude befindet sich heute in privater Hand und wird als Gaststätte und Hotel genutzt.