Que dois je faire accepter?

A t-on le droit de me diminuer l'AAH alors que je n'ai pas dépassé le plafond de ressources. Je suis mariée avec 2 enfants. Mon mari a été au chomage et a travaillé en intérimaire en 2006, puis embauché définitivement dans la même entrprise. Il a bien déclaré ses revenus mais a omis de signaler son changement de situation dans l'année 2006.( c'est la 1ere fois qu'il change de situation, et ne savait pas qu'il fallait le signaler) Par conséquent, la CAF veut me retenir une partie de mon AAH, dans l'année 2009, pour l'année 2006. Je n'ai eu auncune liste de calcul de leur part. Il m'ont dit que c'était à cause du changement de situation. Il me réclame un trop perçu, donc une remise de dette a été demandé de ma part. Mais je n'apprécie pas que l'on fasse intrusion dans ma vie privée, car un enqueteur doit venir à mon domicile vérifier les documents de mes frais mensuels, EDF, GDF,.... Puis je refuser cette visite? Que dois je faire? merci de votre réponse