"Vacilar" es jugar con otra persona, tener la sensación (o la confirmación) de que no están siendo honestos /leales contigo. O no lo son en el grado que deberían serlo.
Tu compañero parece que lo hace para que no se le relacione contigo. Por supuesta camaradería se hacen muchas estupideces. Pensará que si lo ven hablando contigo van a hablar mal de él o pueden...
Yo alguna vez lo he utilizado cuando detecto que alguien me ha vacilado o pretende hacerlo y cuando alguien se pone a la defensiva y muy disfuncional porque paso de meterme en absurdos piques de egos.