Я бы сформулировала по-другому.
Мне тяжело общаться с людьми другого эмоционального фона. К сожалению, мало в этом мире "моих людей". Поэтому здесь дело не в трудности начать, а в трудности найти "того самого". А тратить свою энергию на "не тех", я не хочу.