Если я достаточно хорошо с ним общаюсь объяснила бы, что его я вижу ТОЛЬКО как интересного собеседника, надежного друга и хорошего человека.
А если эта персона мне неприятна, то скорее всего скажу:
Извини. Либо я тебя плохо знаю, либо мы не подходим друг другу.
Ну или, что-то в этом роде...