может, и не надо тактичности? прямо сказать, что не хочу этого делать. не нравится мне. люди поймут, что не надо сплетничать с вами, а надо сплетничать про вас)
лично у меня таких проблем особо не было. если не нравится что-то в коллективе, то отстранялся от этих аспектов.
можно попробовать завести разговор на тему, которая нравится вам.