Мы отдалились с мужем

Здравствуйте, у меня проблема наверно как и у многих женщин. Мне 30 лет, моему мужу 25. Вместе 5 лет, в браке 3 года есть ребенок 2 года. С мужем отношения были прекрасные во всех отношениях, как говорится жили душа в душу. Хотели ребенка и когда я забеременела очень радовались. Беременность проходила сложно – интимной связи не было вообще (сначала врачи не разрешали по показаниям, потом муж отказывался боялся навредить). За это время мы отдалились. С рожденинем ребенка мы ближе не стали, я все время была одна с ребенком, муж на работе. Уходил утром на работу, приходил поздно вечером с работы, с ребенком практически не виделся. Интимные отношения были приблезительно раз в две недели. Я пыталась с ним поговорить что нам не хватит внимания, и разговоривала и скандалила, больше скандалила (было все), он говорил что старается для нас, и хочет чтоб все у нас было и мы не в чем не нуждались. А мне не хватало его. Когда ребенку исполнилось 1 г. 6 мес. узнала что на строне есть девушка, стала проверять его телефон и нашла подтверждение этому – их переписку. Не стала вдаваться в подробности как долго длились эти отношения. Поговорила об этом с мужем, в измене он не сознался, про переписку сказал что не знает как объяснить, сказал что переписывался но это дурь. Что любит меня и ни кто ему не нужен. Для себя решила что хочу сохранить семью, и больше к этой теме не возвращалась, по крайней мере мужу вида не показывала, хотя постоянно про это думаю. После измены отношения стали вроде лучше, я стала больше уделять внимание мужу и он тоже, с работы приходит пораньше и мне и ребенку внимание уделяет.  Стал нежным и внимательным. Прошло полгода и теперь опять он отдаляется, секс опять раз в две недели, со мной ни чем не делится, начинаю с ним об этом говорить он говорит что все нормально, устает на работе..  Знаю что отношения с той девушкой не поддерживает. Может я себе придумываю и у нас и правда все нормально. Не знаю как себя вести, может я действительно себя накручиваю. Неужели так будет всегда и я  не буду жить теперь спокойно.