Ole Olsen-bygget ble oppført i 1762 av trelasthandler Thomas Steenersen. Bondelederen Kristian Lofthus ble arrestert her i 1787. Steener Steenersen overtok huset etter sin far, og senere var det enken, Madam Steenersen, som eide det. Lars Olsen kjøpte det i 1898. Det har vært kjøpmannshandel i huset helt siden "Madammens" tid.