Pues simplemente, no tomándote el café con él
Mira a ver cual es su reacción. Si pasa de ti, es que simplemente eres una "compi de cafés", prescindible.
Si pregunta por que no te tomas un café con el (piensa excusas creíbles), puede ser que simplemente se preocupe por ti, o, por que haya algo más ...
Si dejas definitivamente de tomarte cafés con él, y él, intenta quedar para otro momento contigo, no hay duda, ahí hay algo ...
(soy hombre)