Husets først kendte ejer var en sadelmager Madsen, kaldet Penge-Madsen, der i 1848 fik tilladelse til at ombytte sit borgerskab med et andet, der gav ret til te- og kaffeudskænkning. Han ombyggede og udvidede ejendommen og åbnede snart efter et gæstgiveri med solide borgerlige retter som speciale. I 1854 solgte han til en jysk handelsmand, Niels Chr. Petersen, der blev kaldt Jyde-Petersen.