Najstarszym był kirkut (cmentarz) powstały w pobliżu ul. Zabrody (obecnie na końcu ul. Kruczej). Powstał prawdopodobnie pod koniec XVII lub na początku XVIII. W tym czasie Żydzi zamieszkiwali właśnie okolice Zabród, tam też mieli również swoją synagogę. Nie mogli jednak mieszkać w centrum miasta, tylko na jego krańcach.

Od połowy XIX wieku w Mławie stacjonowały od¬ziały 6 Donieckiego Pułku Kozaków, które między ul. Zabrody
i Warszawską miały swoje koszary, stajnie plac ćwiczeń. Żydowski cmentarz znalazł się na pograniczu terenu wojskowego.
W takich warunkach nie mógł właściwie funkcjonować i został ograniczony do roli cmentarza zamkniętego. Nowy cmentarz został zało¬żony znacznie dalej od koszar rosyjskich: na niewielkim zniesieniu, przy końcu ul. Warszawskiej (tuż za obecną obwodnicą). Był czynny do 1940r., tj. do czasu zamk¬nięcia Żydów w getcie. Ogrodzony był murem z czer¬wonej cegły, obok mieszkał stróż cmentarny, pilnujący porządku.
Dewastację cmentarzy żydowskich rozpoczęli Niemcy w 1941r., rozbijając nagrobki i pomniki, których uży¬wali jako materiału budowlanego przy wznoszeniu obiektów wojskowych na terenie ośrodka szkoleniowego
w Krzywonosi koło Nosarzewa. Do dziś stoją tam dwa betonowe słupy wjazdowe, w które wtopione zostały części macew.
Po drugiej wojnie światowej cmentarze żydowskie, a właściwie ich resztki, podobnie jak prawosławny i ewangelicki stały się „miejscem niczyim”. Po cmentarzach żydowskich pozostały tylko miejsca porośnięte trawą.
Aktualnie w miejscu byłego cmentarza znajduje się Pomnik – Menora, ufundowany przez Żydów mławskich zamieszkałych w Izraelu. Powstał on z ocalałych filarów bram z Nosarzewa oraz z rozbitych macew. Jako znaki barbarzyństwa zostały zakonserwowane i ustawione w najwyższym punkcie cmentarza. W ten sposób powstała pierwsza część pomnika, autorstwa rzeźbiarza Andrzeja Borcz. Uroczystość odsłonięcia pomnika nastąpiła 20 lipca 1998r.