Po skončení druhé světové války bylo odsunuto veškeré německé obyvatelstvo a České Žleby byly v postatě vylidněny. Nepodařilo se dosídlení reemigranty ze Slovenska a z Rumunska a vzhledem k poválečnému vývoji přestalo být žádoucí. V 50. letech se obec ocitla v nepřístupném hraničním pásmu. V blízkosti Českých Žlebů na Žlebském kopci bylo v dobách studené války stanoviště radiového odposlechu tehdejšího nepřítele – NATO. Průzkumné pracoviště ČSLA s jednoduchým drátovým anténovým systémem spadalo pod 15. průzkumný prapor (VÚ 2502). Okolní obce spadající pod katastr Českých Žlebů zcela zanikly – Guthausen (Dobrá), Schönberg (Krásná Hora) a další.
Celkový počet domů v samotné obci klesl z 265 roku 1930 na 47 roku 1961. Počet obyvatel klesl za stejné období z 1836 na 206. Zchátralé budovy se začaly bourat. Vrcholem devastace obce bylo odstřelení a srovnání se zemí zcela zpustlého farního kostela sv. Anny dne 31. 8. 1965. Na místě zničeného kostela byl roku 2003 za přispění p. děkana Františka Honsy z Volar postaven kamenný památník s křížem a deskou připomínající zaniklou slávu obce i jejího kostela. Zde se každoročně v období kolem svátku nanebevzetí Panny Marie konají pod širým nebem česko-německé mše. S obnovou starého hřbitova začali bývalí rodáci po roce 1990. V dnešní době jsou České Žleby součástí obce Stožec a žije zde trvale pouze 59 obyvatel a je zde evidováno 51 adres.