Son mariage, contracté le 5 janvier 1540 ou 1541 (nouveau style ?) avec Renée de Rieux, est réputé houleux. Épouse ensuite Madeleine Olivier dont il a deux fils, Charles (1570-1576) et Antoine, également mort jeune.
Fait partie des otages envoyés en Angeleterre en 1559 après le traité du Cateau-Cambrésis.