A XVIII. században, barokk stílusban épült ház nevét a Mikszáth Kálmán Különös házasság című regénye által híressé vált Buttler János egri városparancsnokról, egykori tulajdonosáról kapta. ház története - hasonlóan a Mikszáth-i történethez (Különös házasság) - nagyon regényes. Buttler János 19 éves korában 1773-ban korengedménnyel kötött szabályszerű házasságot gróf Dőry Katalinnal. A kassai szentszék mindkettőjük hibájából kimondva ágytól-asztaltól elválasztotta őket, ami nem volt egyenlő a válás kimondásával. Ezt Buttler 58 éves korában kérelmezte, hogy a tartásdíjtól és gyermektelen feleségétől szabaduljon. Ez a vágya sikertelen maradt. 1845-ben halt meg. A barokk épület egy ideig a város laktanyája volt, majd siketnéma intézetként, internátusként működött. 1949 és 1957 között az egri múzeum otthona volt. Mielőtt húsz évvel ezelőtt bezárták volna, turistaszállóként működött. Ma irodáknak ad otthont.