Moskén, som är från 1800-talets början, ligger på sydsluttningen nedanför fortet i den historiska delen av Jajce. Den är en liten moské som aldrig haft en minaret. Då den ligger mitt bland bostadshusen kom den att främst nyttjas av kvinnorna. Därför heter den i folkmun ’Kvinnomoskén’. Dess arkitektur är i hög grad influerad av den traditionella bostadsarkitekturen med höga valmade tak och en rektangulär, nästan kvadratisk planform. Till skillnad från den traditionella konstruktionen, korsvirkeshus, är Dizdar moskén byggd i massiv sten.