Мужчина не хочет знакомить с родителями и детьми

Здравствуйте. Встречаюсь с мужчиной больше года. Живём в разных городах, ко мне приезжает только на выходные, иногда я к ниму на пару дней по работе. Всегда на связи с утра до вечера. Планировали что я продам свою квартиру и перееду в его город, и там что то совместное приобрести. Он знаком с моими родителями и моими детьми (13 и 15 лет м). Но со своими родителями и детьми (4 д. и 13м.) не хочет знакомить, говорит что бывшая жена перестанет давать общаться с детьми, а мама лешит наследство квартиры. Потому что мамы была против их развода, они больше года не общались. Бывшая тоже почти год не давала детей. Но тут появилась я и обо мне никто не знает. С мамой померился и бывшая начала давать детей по первому зову. Я сначала ничего не говорила, потому что встречались пару месяцев, но тут уже прошло больше года. И получается что он там живёт, забирает детей к себе домой, с мамой все хорошо, а я где то на втором плане. Звонить я не могу теперь как раньше (когда захочу), при детях нельзя, что бы бывшая не узнала. Я ему сообщила что мне не нравится что у него там отдельная жизнь, а ко мне только на выходные. Он говорит, что лучше всего что бы ни кто не знал о нас и желательно никогда, так будет спокойнее, но если хочешь скандалы от бывшей и от родителей, то звони когда хочешь. Друзей у него нет, поругался со всеми, очень принципиальный. Теперь и не знаю как быть. Говорит что штапм в паспорте не важен и зачем тебе, чтоб о тебе узнали? Зачем менять спокойствие на конфликты. Говорит что сам лично не пойду сообщать что ты есть, если получится ситуация что о тебе узнают, то тогда и будем решать. Как мне быть в этой ситуации, подскажите пожалуйста.