Fils d'Henri Le Brun, prévôt, receveur et gruyer de Saint-Mihiel. Philippe Le Brun est de la famille de Diane Baudoire, première femme de Louis Des Masures. Il se marie c. 1572 avec Elisabeth de Thysac puis, le 7 juin 1588, avec Louise Collignon dont il a deux fils, Christophe (né en 1590) et Philippe (né en 1591).

D'origine lorraine, il fait des études de droit civil à l'université de Grenoble (1544-1546), puis à Valence (où il rencontre Guillaume Des Autels). À partir de 1550, on le retrouve à l'université de Cahors (où il rencontre probablement Olivier de Magny). C'est à cette période (début des années 1550) qu'il entre au service de Jeanne de Genouillac dans le Quercy. Il y reste jusqu'à la mort de cette dame en 1567, puis rentre en Lorraine.