Świątynia ta została wybudowana w latach 1747-1781 (konsekracja w 1791). W 1819 zaborcy przeprowadzili kasatę zakonu i od tego czasu aż do 1918 klasztor był nieużywany. Kameduli powrócili do klasztoru w 1937, dzięki staraniom hr. Stanisława Mańkowskiego – właściciela dóbr kazimierskich. W czasie II wojny światowej zakonnicy ponownie musieli opuścić klasztor, ale po zakończeniu działań wojennych powrócili.

Klasztor jest zbudowany w stylu późnego baroku, jego wnętrze jest wyposażone dość surowo – większość oryginalnych sprzętów została zniszczona. Dość nietypowy jest ołtarz główny, wykonany w stylu rokokowym. Cennymi zabytkami są freski pochodzące z okresu budowy klasztoru.

Klasztor jest silnie zwiazany z historią 5 braci męczenników : Jan, Benedykt, Mateusz, Izaak i Krystyn . Uznawanych za pierwszych Kamedułów na ziemiach polskich. Bracia Ci ponieśli smierć w nocy z 10 na 11 listopada 1003 roku.

Kameduli żyją w eremach: oddzielnych domkach-celach, gdzie samotnie modlą się i spożywają posiłki przygotowane w klasztornej kuchni. Samotnie pracują także na rzecz klasztoru. Żyjąc pojedynczo łączą się jednak we wspólnocie klasztornej, podporządkowując się Regule i Konstytucji zakonu oraz ojcu przełożonemu. Zakonnicy wspólnie uczestniczą we mszy świętej i modlą się, wypełniając liturgię godzin. Tylko w większe uroczystości spożywają wspólnie posiłki. Bracia nie jedzą mięsa, zachowują ścisłe posty. Obce jest im palenie tytoniu. Zakonnicy nie słuchają radia ani telewizji, nie dociera do nich zgiełk świata. Pięć razy w roku mogą wspólnie opuścić klasztor i udać się na wycieczkę. Kameduli golą głowy, mają długie brody, noszą białe habity oraz grubsze białe płaszcze."

Do klaszru w Bieniszewie zakaz wstepu mają kobiety. Wyjątki stanowią niedziele w godzinach od 10 do 11.Niedaleko klasztoru znajduje sie również źródełko sw. Barnaby z uzdrawiającą wodą.