Aquesta biblioteca-museu va ser fundada l'any 1884 per l’escriptor i polític Víctor Balaguer i Cirera (1824-1901), que va voler crear per a la ciutat de Vilanova i la Geltrú un temple del coneixement i la cultura. 

​

La biblioteca, amb més de 20.000 volums d’origen, compta en el seu fons amb peces singulars com el procés de Serrallonga, el manuscrit de La febre d’or o edicions molt preuades del Quixot. El museu acull a les seves sales obra d’autors com Martí Alsina, Sorolla, Rusiñol, Casas, Mir o Guinovart, així com amb un fons provinent del Museu del Prado que acull peces d’El Greco, Goya, Rubens o Ribera. Fonamentals també les col·leccions d’etnografia, on destaca de manera especial la col·lecció egípcia, la primera en arribar a Catalunya l’any 1886, amb la mòmia d’un infant.