La Biblioteca si trova nel superbo palazzo che il riminese Alessandro Gambalunga fece costruire, fra il 1610 e il 1614, nella centrale via dove sorgevano le case dell'antica nobiltà riminese. Influenzato dai canoni architettonici di Sebastiano Serlio, l'edificio può essere ammirato per l'eleganza dei suoi dettagli costruttivi e ornamentali, ispirati all'architettura classica.

Il grande portale d'ingresso si affaccia su una bella corte, al cui centro, dal 1928, è posto un settecentesco pozzo in pietra d'Istria. Nell'atrio e nel cortile sono conservati alcuni dei marmi che la comunità ha dedicato ai Riminesi illustri. Originariamente al pian terreno c'erano le stalle, le officine, le rimesse e i magazzini. All'ultimo piano si trovavano i granai, le abitazioni dei servi, del fattore e una piccola officina per rilegare i libri, di cui Gambalunga era un attento raccoglitore. Il piano nobile, oggi sede della Biblioteca, ospitava gli appartamenti di Alessandro e della moglie Raffaella Diotallevi. Lussuosamente arredato con arazzi, broccati e dipinti, il palazzo fu luogo d'incontro di eruditi e letterati, di cui Alessandro fu generoso mecenate.

Dopo la sua morte, la libreria venne collocata a pian terreno, nelle tre sale di via Tempio malatestiano, ove rimase fino agli anni '70, quando, con la ristrutturazione dell' edificio, la biblioteca fu trasferita nelle sale superiori. Qui, insieme ai nuovi servizi della biblioteca multimediale, si trovano in continuità spaziale e temporale le quattro sale storiche (tre del secolo XVII e una del secolo XVIII), con gli arredi e i fondi bibliografici originali. Il pianterreno è oggi sede della Cineteca e della Biblioteca dei ragazzi.