ご家族のエアコンと同様にカーエアコンにもフィルターがついています。
ホコリが詰まると、ホコリに湿度が付きカビの原因となり、急に臭くなります。

カビをファンで車内に撒き散らしているのと同じになりますので、1年に1回の定期的な交換をお勧めします。