Для меня слова о том, что мужчина не стремился к законному браку (как Боромир) - вовсе не означают, что он женщинами не интересовался. Мало ли какие у него мотивы были? Может он считал, что не имеет права создавать семью пока в Гондоре не установится мир и покой. или решил последовать примеру своего отца, женившегося в довольно-таки зрелом возрасте.
В общем о мотивах мы, увы, можем только догадываться.