Si la apartas lo primero que yo pensaría es que te da pena que te miren... Pero por otra parte si la apartas pero antes lanzas una miradilla de las que matan, entonces si que pensaría que te fastidia que te mire y que me rechazas...
La interpretación depende de cada persona, yo lo interpretaría como señal de timidez, o señal de "no me animo" a dar el paso, lo mejor es agarrar y darle para adelante.