Проблемы в отношениях

Здравствуйте. В отношениях с парнем 5 лет, есть дочь 2 лет. Часто ссоримся с молодым человеком, и вот приняли решение расстаться. Тяжелое для нас обоих. Расстались на почве частых ссор, в которых он мог поднять руку. Но, после расставания он часто приходит к нам, мы проводим вместе много времени, но с нами он не живёт. Что делать в такой ситуации? Не могу его отпустить, как и он меня, хотя и понимаем, что вместе быть тоже не получается. Пытались очень много раз разговаривать насчёт ссор, но ни к чему так и не пришли