Nel corso del ‘500 i Mattei oltre ad acquisire la “diruta villa S. Giorgio”, entrarono in possesso di altre proprietà limitrofe che accorporarono nel 1603. Una di queste, denominata “Vaccarese” o “Vaccareccia”, dal pascolo di vacche maremmane e di bufali che vi si praticava, diede il nome all’intero possedimento.
Nel 1756 Camillo Rospigliosi avviò ulteriori lavori di restauro conferendo al castello l’aspetto attuale. Girando intorno alle mura si raggiunge il cancello d’ingresso al giardino antistante la facciata; questo ingresso è recente e sostituisce i due precedenti ingressi, ancora visibili; il primo sul lato del giardino che si affaccia sull’Arrone, dove era un ponte; l’altro il principale, – di cui rimane ben poco – è nascosto tra gli alberi, sulla sinistra.
La facciata del castello si presenta incassata tra due torrioni, coronata da una torretta con grande orologio e movimentata da un balcone centrale con finestra, incorniciata da una semplice decorazione riportante i rombi dello stemma Rospigliosi.
Dal portale sottostante si accede all’atrio del castello, sulle cui pareti sono gli stemmi in pietra dei Rospigliosi ed un’iscrizione di Benedetto XIV celebrante l’episodio della cattura dei Turchi a Maccarese.
Nel 1683 Vaccarese o Maccarese venne acquistata da Stefano Pallavicini per 270,000 scudi e la congiunzione del patrimonio dei Pallavicini con i Rospigliosi trasformarono il castello in residenza di campagna.