Tal y como lo cuentas parece que tu orientación es homosexual. Y él, según tú, está casado y tiene hijos, y supongo que a no ser que sean adoptados los hijos serán biológicos y él será heterosexual, con lo cual es un problema.
Y obviando el primer párrafo que he escrito, sigue estando casado y con hijos, dando igual su orientación sexual. Por lo que deduzco que si apenas te conoce, no creo que deje a su familia y se vaya contigo.
Con lo cual, son todo problemas y ganas de romper familias, así que mi consejo es que te busques otra persona.