Zwischen 1583 und 1593 wurde das Patrizierhaus „Haus zum Palmbaum“ unter dem Namen „Zum roten Stern“ von dem Landrentmeister Christoph Kirchberger im Stil der Renaissance erbaut.
Von 1594 bis 1623 war es im Besitz des Waidhändlers Georg Breithaupt, der vermutlich auch die Stuckdecke in Auftrag gab. Diese befindet sich im kleinen Saal und ist die größte Kostbarkeit des Hauses. An der Decke befindet sich teilweise fast freiplastischer Stuck, mit Szenen nach Ovids Metamorphosen.
Sein heutiger Name leitet sich vom Palmbaum-Motiv am barocken Portal von 1700 ab. Im 19. Jahrhundert diente das Haus sowohl als Wohn- und Geschäftshaus als auch ab 1822 als Mädchenschule; zudem war hier der erste Arnstädter Sparverein untergebracht. Ab 1979 beherbergte das Gebäude das Stadtgeschichtsmuseum, das 1991 in das Bach-Museum integriert wurde, und heute ist es Teil der Musikschule Arnstadt-Ilmenau.
