Il Palazzo Albizzini risale alla seconda metà del XV secolo, ha una superficie totale di 1660 mq. ripartita in tre piani ed ha un'impronta che rimanda alla sobria architettura rinascimentale di ascendenza fiorentina. Degli Albizzini si hanno notizie fino dal XIV° secolo e i suoi componenti sono stati protagonisti di rilievo nelle vicende storiche della città. Sul loro altare all'interno della chiesa di San Francesco era lo "Sposalizio della Vergine" di Raffaello, oggi a Brera.
L'edificio, acquisito dalla Cassa di Risparmio di Città di Castello che ne ha promosso il restauro, iniziato nel 1979 e terminato nel 1981, è stato poi consegnato in comodato gratuito novantanovennale alla Fondazione. Nell'intervento di restauro del monumento, già in condizioni di avanzato degrado estetico e statico, sono stati adottati, dagli architetti progettisti Alberto Zanmatti e Tiziano Sarteanesi, accorgimenti che ne hanno consentito il recupero spaziale, senza l'introduzione di elementi che avrebbero potuto compromettere i delicati equilibri espositivi. Il ripristino degli intonaci con calce e sabbia lucidati a cazzuola ha reso all'architettura, che pure ha subìto complessi interventi di consolidamento, un aspetto assolutamente puntuale e rispettoso della sua originale peculiarità nel rapporto con il grigio della pietra, elemento lapideo ricorrente nella definizione spaziale del palazzo. Le 130 opere esposte, comprese in un arco cronologico dal 1948 al 1989, sono Catrami, Muffe, Gobbi, Sacchi, Legni, Ferri, Combustioni, Cretti e Cellotex, oltre ai bozzetti per scenografie ed alcuni esempi della produzione grafica.