Сын хочет чтобы папы не было

Здравствуйте. Проблема началась когда сыну было 2 года и продолжается до сих пор (4.7сейчас). Ребенок воспринимает папу как соперника, агрессора. Говорит мне : "Я на тебе женюсь", а папе говорит: "Ты плохой, хочу чтоб тебя не было, чтоб ты умер". Постоянно делает ему больно- может залезть на него вроде играя, но потом ударит в лицо, в глаз. Особенно это проявляется в момент "неудачи" сына- когда он упал, ударился, папа жалеет, а у него только агрессия растёт. Иногда бывает всё спокойно, говорит отцу, что любит его, обнимает, целует. Мы с мужем не ссоримся, ребенка воспитываем сами, на бабушек не оставляем, берём его всегда с собой в поездки. Вместе они проводят время - могут в Лего играть, читать, кататься на велосипеде. Правда не очень часто. Папа наказывает его шлепком по попе за то, что он исподтишка может начать его бить, на агрессию отвечает также, я считаю это не правильно. Сыну всегда говорю, что если ты обижаешь папу, я тоже расстраиваюсь. Ребенок долгожданный, но стараемся не баловать. Ставим в угол за непослушание, очень хотелось бы понять нашу стратегию поведения, а особенно папы.