Az Esterházy-család, amelynek neve szorosan összefonódott Pápa történetével, a XVIII. században emelkedett az ország leggazdagabb és legtekintélyesebb főnemesei közé. Gróf Esterházy Miklós nádor gróf Nyáry Krisztinával kötött második házassága révén jutott 1628—ban a pápai vár és a hozzá tartozó uradalom birtokába. Az uradalmat a nádor halála után annak kisebbik fia, Ferenc örökölte, s ettől kezdve a család ifjabb fraknói grófi ága volt földesura több mint háromszáz éven át a városnak és a környező vidéknek. A család legidősebb férfi tagjai viselték ettől kezdve a pápai főkapitányi címet, és sokszor életüket sem kímélve vették ki részüket a török elleni harcokból. A vezekényi csatában 1652-ben négy Esterházy fiú vesztette életét, köztük gróf Esterházy László, Pápa akkor ura.
Pápát, mint kiterjedt uradalmaik egyik központját igyekeztek úgy kiépíteni, hogy az méltón reprezentálja a család tekintélyét és gazdagságát. Gróf Esterházy Ferenc a középkori vár helyén Franz Anton Pilgram tervei alapján barokk kastélyt emeltetett, fia, gróf Esterházy Károly egri püspök pedig új, méreteiben is impozáns plébániatemplomot. A templomot, melynek freskóit Maulbertsch festőművész készítette, egyúttal a család temetkezési helyének is szánta. Gróf Esterházy Károly nevéhez még számos építkezés fűződik. Ő volt az, aki a vár melletti tavat lecsapoltatta, helyén parkot alakíttatott ki, megszüntette a középkori sáncrendszert, és a kor szellemében korszerűsítette az utcák és terek szerkezetét, amely ma is döntően meghatározza a városképet.
