Проблема из-за отлучек

Здравствуйте!
Мне 23 года, есть дочка 4.5 года, за плечами отношения, которые продлились вместе с браком 4 года, а так же большое колличество романов без обязательств. В данный момент я встречаюсь с молодым человеком 26 лет, 2 последних месяца мы живем с ним вместе в моей собственной 2х-комнатной квартире. Отношения хорошие, доверительные, душевные, интересный и разнообразный совместный досуг… мы не ругаемся вообще ни по каким поводам, кроме одного, очень глупого на первый взгляд, именно это и отравляет отношения. Когда он говорит, что идет к кому-то на день рождения под вечер и, чтобы вроде как меня не будить, ночевать пойдет к родителям, я начинаю беситься. Я начинаю чувствовать себя какой-то покинутой, забытой, отшитой, если можно так сказать, я сразу начинаю говорить что-то типа того, чтобы шел жить к друзьям в таком случае, а он пытается меня успокоить, говоря что и так проводит вместе со мной почти каждый вечер ( он приходит в 20-22 часа, не раньше)… а я бешусь до дрожи, хотя в глубине души понимаю, что проблемы нет как таковой, но мне очень обидно! За февраль таких инцидентов было уже штуки 4… то день встреч выпускников у него, то дни рождения один за одним… то у друга, то у подруги друга, то у приятеля, которого он сто лет не видел и вдруг встретил на улице… замечу, что сам мой молодой человек не пьет вообще, не курит, как сам говорит, что ходит на мероприятия «пообщаться, поесть»… а я себе места не нахожу и после каждого такого раза с горяча готова его бросить… он уже понял эту тенденцию и бежит в прямом смысле слова от разговоров, когда я на взводе, ждет, когда угомонюсь, а я чувствую себя оплеваной с ног до головы, слабой. Лично мне не нужно общение как таковое во вне, если у меня в личной жизни все в порядке, а посредством общения с приятелями я заполняю душевную пустоту, если что-то в любви не ладится, я не хожу по кабакам и гостям, мне и дома хорошо, я уже нагулялась и хочу размеренной семейной жизни. Подскажите, что думаете по этому поводу, как мне быть! Спасибо заранее.