Если, по каким-то причинам, не хочешь прямо с ним поговорить, попробуй хвалить его за проявление внимания к тебе, даже за самую мелочь.
Либо измени свое поведение, возможно он изменится в ответ.