Я муж и его семья

Здравствуйте, хотела бы попросить помощи с вопросом. Мы с мужем разошлись три года назад когда я была беременной. Я родила и проживала одна с ребёнком в другом городе. Там мне подарили квартиру мои родители, где я жила с своей дочерью. С мужем начали общаться, после он стал приезжать. Иногда мы к нему. Начали возобновлять отношения. Ребёнок немного сплотил нас. Он ее любит. И говорит что и меня тоже. У меня есть к нему чувства. Но проблема в том что мы не можем жить вместе. У него очень сильное чувство вины перед своей мамой. Когда мы поженились его родители не хотели чтобы мы жили отдельно. Вечно лезли ко мне. К моему быту. После свадьбы сразу они сняли квартиру на одной лестничной площадки со своей квартирой. Но мой муж постоянно был у себя дома. После того как мы сильно поругались я и уехала. Всю беременность я была без него у своих родителей дома. После рождения ребёнка у него умер отец. Единственный кормилец семьи. У него четыре сестрёнки самой младшей 9 лет. После этой смерти он взял всю ответственность за семью на себя. После того как наше общение восстановилось на расстояние. Я вечно поднимаю вопрос о том чтобы мы жили вместе. Я он и наш ребёнок. На что он говорит что не может оставить маму горем убитую от смерти мужа и сестрёнок. Говоря что он им очень нужен. Ну и его мама в мои приезды говорила что он у них единственный и что хотим жить все вместе. Он просит чтобы мы жили вместе. но я не хочу. За три года проживания одной я очень привыкла вести хозяйство сама. Быть главной на кухне. И т д. Сейчас я приехала в его город с ребёнком остановилась в квартире где они все проживают. Трёхкомнатная где живут 6 людей плюс нас двое. Нам тесно. Я хочу остаться в этом городе. Поднимала вопрос о том что давай я продам ту квартиру в другом городе и куплю в твоём городе. На свои деньги. На что он мне говорит давай да, и маму перевезем и купим рядом квартиру ей и сестрёнкам, продав их квартиру. Начали смотреть Варианты. Выходит что я смотрю квартиру НАМ. А он смотрит квартиру своей семье. Я сильно поникла. Выходит что я смотрю для нас а он для своей семьи. Будто мы не его семья. Я честно очень запуталась и не понимаю очень сильной досады внутри души. Чувствую что меня сильно ломает что то. Но объяснить не могу ни ему ни себе. Он устал от того что я вечно обижаюсь и не договариваю. При попытке что то разъяснить слышу лишь то что он не оставит свою семью. Он должен сделать им условия. Ведь отца нету. Есть только он. И маленькие сестренки ( 16,16,15,9 лет) Выходит что я забочусь о нас а он не о нас. Мне очень обидно, я что то делаю не так? У меня проблемы ? И в какой области.