W miejscu zajmowanym dzisiaj przez cmentarz żołnierzy radzieckich, przed II wojną światową znajdował się tak zwany Plac Chwały, na którym odbywały się uroczystości patriotyczne. Stamtąd piękna dębowa aleja prowadziła na usytuowany w pobliżu dawnego cmentarza ewangelickiego Cmentarz Poległych (Ehrenfriedhof). Pochowano tutaj żołnierzy, którzy zginęli w bitwie pod Tannenbergiem w sierpniu 1914 roku.
Cmentarz założono na planie koła, z centralnie usytuowanym na niewielkim postumencie monumentalnym, piętnastometrowym betonowym krzyżem. Wokół niego, w trzech rzędach rozmieszczono mogiły 254 żołnierzy armii niemieckiej, głównie zmarłych w latach 1914-1918 z ran odniesionych na polu bitwy, 5 żołnierzy armii rosyjskiej, 1 żołnierza rumuńskiego oraz 24 weteranów zmarłych na początku lat dwudziestych. Na każdej z mogił znajdował się niski drewniany krzyż. Cmentarz wzdłuż ogrodzenia obsadzony był tujami, przy alejkach oddzielających rzędy mogił posadzono lipy. Z dawnego założenia do dzisiaj zachował się jedynie betonowy krzyż i częściowo drzewostan. Układ mogił uległ całkowitemu zniszczeniu.
Kilkanaście lat temu na cmentarz przeniesiono stojący pierwotnie przy zbiegu ulic Mickiewicza i Olsztyńskiej kamień z 1923 roku, upamiętniający żołnierzy 18 pułku piechoty im. von Grolmana, potocznie nazywanego przez Niemców "Kaczmareks", z uwagi na dużą liczbę żołnierzy o tym nazwisku. Stoi tam również zachowany fragment pomnika poświęconego uczniom i nauczycielom ostródzkiego seminarium nauczycielskiego, poległym w czasie I wojny światowej, który niegdyś stał na obecnym Placu Jana Pawła II. Cmentarz w 1988 roku wpisano do rejestru zabytków.
Warto wiedzieć, że w bitwie pod Tannenbergiem szczególnie dzielnie spisali się ostródzcy rezerwiści, członkowie batalionu pospolitego ruszenia (Landsturmbatalion), dowodzeni przez mającego wtedy 69 lat podporucznika w stanie spoczynku Kallweita. Jako pierwsi zdobyli podczas bitwy flagę przeciwnika – sztandar 32 pułku piechoty. Pisały o tym wszystkie niemieckie gazety. W uznaniu męstwa na polu bitwy, ostródzkich „Siwobrodych” („grau im Barte”) zaproszono do udziału w berlińskiej paradzie zwycięstwa w dniu 1 września 1914 roku.
