Con la successione nel giugno 1619 di Giuseppe I al cugino Giovanni III nel marchesato di Geraci e principato di Castelbuono, la famiglia Ventimiglia si avviava già verso una decadenza politica che si sarebbe trascinata sino all’estinzione della linea maschile nel 1860, per la morte senza discendenti di Giovanni Luigi Ventimiglia Camarrone, XVII principe di Castelbuono. Alla decadenza contribuì lo stesso Giovanni III, che indebitò ulteriormente il patrimonio feudale per costituire una robusta dote alla figlia naturale Beatrice, sposa di Girolamo II del Carretto (1597-1622), conte di Racalmuto. Giuseppe non fece neppure in tempo a prendere l’investitura, perché la morte lo colse nel gennaio 1620, lasciando al figlio Francesco III un patrimonio feudale fortemente indebitato con Francesco Graffeo, barone di Serradifalco, che aveva procurato a interessi altissimi la forte somma di denaro necessaria a soddisfare anche le spettanze della marchesa Dorotea, vedova di Giovanni III.
E sarà Graffeo più tardi, nel 1625, ad acquistare Gangi e Regiovanni, con esclusione di qualsiasi ricompra a favore dei Ventimiglia. Nel 1637, dopo una lunga controversia con il clero e gli abitanti di Tusa, Francesco III perdette anche il mero e il misto imperio di Tusa, salvandosi a stento dalla riduzione del borgo al demanio regio voluta dagli abitanti. Contemporaneamente le speculazioni da lui avviate (impianto di una fonderia per la lavorazione del rame e di una vetreria) non ebbero il successo sperato e perciò, alla sua morte nel1649, egli lasciò ai successori un patrimonio feudale ridimensionato e soprattutto una collocazione politica non più di primissimo piano, se la Grandìa di Spagna, concessa ai principi di Castelvetrano, Paternò e Butera a titolo ereditario, a Francesco III fu concessa qualche anno prima della morte (1645?) solo a titolo personale (grandeza personal), non trasmissibile agli eredi.