Les grandes fortunes peuvent dormir sur leurs deux oreilles : leur probabilité de subir un contrôle poussé de la part du fisc n'est que d'une fois tous les 40 ans. Certes, les 150.000 contribuables à forts enjeux -c'est-à-dire riches ou célèbres -font a priori l'objet d'un « contrôle sur pièces » tous les trois ans, sur la base de leur déclaration d'impôt. Mais cette procédure n'est absolument pas adaptée à la complexité de leurs dossiers. L' « examen de la situation fiscale personnelle » est la seule permettant de contrôler en détail leurs revenus et leur patrimoine.

Or, elle reste rarissime. Parmi les 50 plus grandes fortunes, une seule est contrôlée chaque année. Le ratio est à peine meilleur pour les 150 suivantes  : seuls 6 d'entre elles font l'objet d'un suivi poussé dans l'année.

Baisse du rendement des contrôles

En plus d'être rares, les contrôles donnent lieu à des compromis bien plus fréquents que pour les autres catégories de la population. Sur les 15 dossiers contestés en 2009, plus de la moitié se sont réglés par une transaction. « Cette proportion est très supérieure au niveau observé en général », remarque la Cour des comptes dans son rapport annuel, qui reconnaît toutefois que dans ce type d'affaires, la frontière entre l'optimisation et la fraude fiscale est difficile à appréhender.

Conséquence  : en dix ans, le rendement des contrôles a baissé. Les droits et pénalités payés globalement par les fraudeurs s'élevaient à 500 millions d'euros en 2002-2004, et à près de deux fois moins en 2008-2009 (270 millions d'euros). « La diminution des montants recouvrés contraste avec la hausse des patrimoines et des revenus financiers les plus élevés », juge la Cour des comptes.

De manière plus générale, les agents du fisc affectés aux contrôles affichent des résultats « peu ambitieux au regard des moyens mobilisés ». Ils sont parmi les seuls à avoir échappé au non-remplacement d'un fonctionnaire sur deux partant à la retraite. Et pourtant, le nombre de contrôles fiscaux externes -qui impliquent un entretien avec le contribuable -n'a pas progressé depuis une dizaine d'années (autour de 52.000 opérations par an). Une telle stabilité est « anormale » compte tenu des gains de productivité qui ont pu être faits avec l'informatique, estime la Cour.