Nadie te está quitando ese derecho, y si alguien sin hijos prefiere salir con alguien con hijos, también está en su derecho y si lo prefiere sobre otras personas que no tienen hijos, pues por algo...
¿y si no tuviera hijos pero ella de todas formas viviera en casa de los suegros y el la viera todos los días porque trabaja al lado te daría igual o te molestaría?