Piensa si vas a querer tener una relación con una persona (de amistad, noviazgo, lo que sea) basada en mentiras. No es una mentira piadosa, que es bien distinta.
Si tienes que inventarte una escusa por quedar bien, mal comenzamos. Te sugiero que le vayas ya diciendo tus gustos, si no él no es adivino, y te vayas abriendo un poco más.
Así que la respuesta es si, dile la verdad, que no te gusta ir. Si él te respeta y le gustas, lo aceptará y es posible que busque una alternativa para verte.