Era figlio di un ricco borghese, Arnaud Duèze, signore di Saint-Felix-en-Quercy, e della sua consorte Elena di Bérail. Ebbe tre nipoti cardinali, creati da lui stesso: Giacomo de Via e Gaucelme de Jean, creati cardinali nel concistoro del 17 dicembre 1316, ed il fratello del primo, Arnaldo di Via, creato cardinale il 20 giugno 1317.