C'est malpoli de dire "à vous aussi"?

À chaque fois que des personnes me disent "Bonne journée ou bon week end" et que moi je réponds avec un "merci à vous aussi" ils me répondent jamais,il y'a un gros silence à chaque fois par exemple ".....au revoir"

C'est mal vu de dire ça?