在纳粹政府被推翻之后，拉贝也没有因此而重获自由，居然又因自己的纳粹党元老的身份被逮捕，重新投入到了监狱。
借助来自中国方面的担保信件以及大量的证据后，拉贝被暂时性释放，但仍被列为重点观察对象。
但没有想到，在英国方面拘禁并审查他之后，前苏联方面又再度把他丢进监狱，在最后一次离开监狱之前，拉贝的糖尿病已经严重到了极为危险的地步，随时会终结他的生命，也正是因此他才会被释放。
但他入狱的消息传到南京后，南京还是掀起了一个不小的捐款热潮，人们倾囊相助凑齐了几千美元，才将他赎出监狱，恢复了半自由的身份。
拉贝的晚年十分凄凉，在1950年，也就是抗战胜利的第五个年头他就逝世了，当时无人知晓，没有任何形式的悼念活动，他的墓碑上也仅只书写下“一个好人，一个不屈的人，约翰·拉贝”。
