Не можем понять друг друга

Здравствуйте.у меня такой вопрос:у меня есть парень(он мне даже не муж).от него есть дочь 7 лет.жили мы как то неправильно он гулял от меня то и дело и то и дело я его выгоняла из дома,жили вместе с моей мамой в одной двухкомнатной квартире.потом он снял себе квартиру и до сих пор живет там,ям дочкой живу у своей мамы,отношения мы до сих пор поддерживаем,я хожу к нему ночевать но так уж и часто,но тоже постоянно ругаемся.мы любим друг друга.но не можем долго находиться вместе и друг без друга тоже не можем.он зовет меня жить отдельно.но я как будто чего то боюсь,то ли мамы ,незнаю,дочку спрашивала пойдёт она или нет ,она категорически против идти в другой дом.подскажите что нам делать?