Fils d'Isabeau Masse et Antoine Martel (mort en 1507), frère cadet de Léonard (mort peu avant le 16 mars 1527 nouveau style). Les deux frères sont encore mineurs en août 1518.
Charles se marie deux fois :
Auprès de François Ier, il participe à la prise de Hesdin (1537) et aux combats de Cateau-Cambrésis et Landrécies (1543).
Réformé. Soupçonné d'hérésie dès le milieu des années 1530, il abjure la religion catholique à Dieppe en 1559.