Forum d'Halem

Bonjour à tous,

Merci de votre accueil sur ce forum.
Je vous présente en quelques mots notre projet.
Nous sommes actuellement locataire d'une aile de ferme classée en zone N.
Notre voisin d'en face possède lui une parcelle de terrain sur laquelle a été construit une habitation en dur.
Ce dernier souhaite nous céder une partie de son terrain pour que nous installions une Yourte contemporaine (+ de 50m2).
Le maire nous a communiqué un "NON" très catégorique, prétextant que la zone est Agricole et non constructible. (elle n'est pas Agricole (A) mais Naturelle (N)).
Il nous a fait savoir que la maison de notre voisin était a l'origine propriété d'un agriculteur, voila pourquoi il avait pu construire. (et que la vente n'aurait pas du avoir lieux du a la nature de la zone)
Notre voisin (activité non agricole) qui a racheté la maison a obtenu un permis pour construire une piscine.
Je me dis donc que cette zone est tout de même constructible ?
Mon ressenti est que le maire ne veut pas s’embêter a modifier le PLU pour y ajouter une pastille et nous permettre de demander un permis de construire.
Que pensez vous de cette situation ?
Merci pour vos avis éclairés.