Rátót nembeli Olivér fiai már következetesen használták a Paksy családnevet.
Utódaik a 14-16. század folyamán kiemelkedő szerepet játszottak: Paksy László Mátyás király korában székely ispáni és tárnokmesteri méltóságot viselt, s a ferencesek paksi építkezéseinek volt a mecénása.
Tehát a Paksy család nevéhez fűződik a paksi középkori ferences kolostor építtetése is, melynek pontos dátumát ugyan nem ismerjük, de feltehetőleg valamikor a 15. század második felére keltezhető.
Az itt megtelepedett obszerváns ferencesek 1526-ban elmenekültek a török elől, s nem is tértek vissza, csak a felszabadító háborúk után. A Városi Múzeum kőtárában található későgótikus kőfaragványok e ferences kolostor maradványai.
Paksy János udvari kamarás, majd kincstartó a mohácsi csatamezőn esett el. A család utolsó férfi tagja, Paksy László 1662-ben halt meg fiú utód nélkül. A család vagyonát nővére, Paksy Anna és annak férje, királydaróci Daróczy Zsigmond utódai örökölték.