L’église Saint-Charles-Borromée est construite entre 1856 et 1860 sur des plans de l’architecte Claude Naissant par l’entrepreneur Lucot. Elle est baptisée du nom de Saint-Charles-Borromée, cardinal archevêque de Milan (1538-1584), à la demande de la veuve de Charles Chapsal, le financeur de la construction de l’église.