Расстаться или сохранить отношения?

Здравствуйте! Меня зовут Саша, мне 24года.
Моя проблема в отношениях с молодым человеком, его зовут Д.. Мы встречаемся уже 5 лет.Вместе не живем. Наши отношения начали портиться пару лет назад, когда я узнала что он встречается с другой девушкой, мы тогда редко виделись и он был очень скрытным, так я и почувствовала. Говорит что был только флирт. С тех пор у меня постоянная настороженность.Последний год Д. работает ординатором, видимся мы редко. Максимум пару часов в день, иногда раз в несколько дней. Он считает что этого достаточно,(ведь мы встречаемся уже так давно, что не обязательно проводить все время вместе как в период «влюбленности»), что он должен проводить время с друзьями, зниматься машиной и т.д., что ему необходимо личное пространство. В итоге получается что мы практически не видимся. Т.к. ординаторам ничего не платят, то когда мы встречаемся, нам толком нечем заняться. Либо занимаемся какими-то необходимыми делами, либо сидим дома, у него или у меня. И там и там мамы. Из-за чего мы не можем фактически побыть вместе. Постоянно звонит масса его знакомых,всем всегда что-то необходимо и он редко отказывает.Его мама постоянно звонит по вечерам и зовет его домой. В итоге мы даже сексом заняться не можем, счет всегда на секунды. По выходным я остаюсь у него, но тогда за стенкой мама, шуметь нельзя, поздно ложиться тоже. По утрам она нас достаточно рано поднимает, постоянно находится рядом с нами. НЕТ ВОЗМОЖНОСТИ ПОБЫТЬ ВДВОЕМ! Он в этом проблемы не видит, а мне не хватает общения, эмоционального и физического контакта. К тому же, когда он постоянно куда-то уходит, у меня возникает ощущение, что он не хочет побыть рядом со мной, начинаю ревновать и вспоминать ту историю. В итоге он обвиняет меня в том, что я его чересчур контролирую и держу его на коротком поводке. По этой причине ссоримся.
Предлагаю ему пожить вместе, говорит что нет фин.возможности и все, на этом разговор заканчивается. К тому же, сейчас он еще работает в ночь. Бывает дома (у себя) несколько часов в сутки, и в выходные. т.е. я его вижу только в воскресенье. Хочется видеть его чаще, иметь возможность что-то обсудить,поговорить, строить планы на день,неделю ориентируясь на наши желания, а не зависеть от настроения и желаний его мамы (он от нее очень зависит). Ему учиться еще 3 года в аспирантуре. Встречаться 5 лет, и не иметь в итоге ничего общего, никаких изменений, мне уже некомфортно. Хочется иметь собственную семью(имею ввиду я и он.детей мы пока не планируем)
Я его очень люблю, он меня тоже. Но пока не можем найти общего языка по этому вопросу.
Расстаться и не надеяться, что он когда-либо созреет на совместную жизнь, или есть возможность как-то все устроить и наладить отношения?
Много еще всего, но все не напишешь…
Саша, Петербург