La kasbah a été fondée au 17ème siècle. Il s'agissait initialement d'un village fortifié, un ksar, occupant un emplacement stratégique le long du fleuve et à l'entrée de la palmeraie de Skoura.
Vers la fin du XIXe siècle, M'hamed Ben Brahim Nasiri, un faqih issu d'une famille locale privilégiée vivant au ksar (descendants de la famille associée à la prestigieuse Zawiya Nasiriyya à Tamegroute, est choisi par Madani El Glaoui (frère aîné de Thami el Glaoui ) pour éduquer ses fils à la lecture du Coran. En compensation, El Glaoui chargea ses artisans de construire à Nasiri un tighremt (manoir fortifié) au ksar.
Aujourd'hui, la kasbah est la structure la plus importante et occupe la longue partie sud du complexe, tandis que le ksar en ruine (l'ancien village) occupe la partie nord. La kasbah a fait une apparition dans le film de 1962 Lawrence d'Arabie.
Il est toujours détenu et entretenu par la famille Nasiri à ce jour. La famille continue de vivre dans une partie de la kasbah tandis que d'autres parties ont été restaurées pour servir de musée présentant l'architecture traditionnelle du bâtiment et des artefacts traditionnels locaux, notamment des outils, un pressoir à olives, un four à pain, et un vieux puits.