Litige sur un compromis de vente

J'ai signé fin juin un compromis de vente pour acheter une boulangerie. J'avais jusque fin aout pour faire les demandes de prêt auprès des banques. Je n'ai pas pu les faire dans les délais et ne souhaitais plus acheter cette boulangerie. Le problème est que je n'ai pas prévenu le vendeur. Maintenant le vendeur souhaite récupérer l'indemnité d'immobilisation que j'ai versée lors du compromis sur un compte bloqué chez un avocat (17000 euros). J'ai été défaillant mais lui aussi car, sur le compromis, il est indiqué que le vendeur est dans l'obligation de fournir les diagnostics et rapports relatifs aux risques d'exposition au plomb, à la présence d'amiante, aux risques naturels et technologiques...dans un délai de 45 jours par pli recommandé avec accusé réception. Je n'ai reçu à aucun moment un recommandé à ce sujet. Pour résumer, je suis dans mes torts mais le vendeur aussi. Comment faire pour me défendre sans l'intervention d'un avocat obligatoirement ? Existe t'il des assistances juridiques gratuites pour ce genre de litige ? Où me renseigner ? Tribunal de commerce, chambre de commerce et d'industrie, mairie ...?