En su jubilación, Carter optó por un estilo de vida modesto. Rechazó apariciones lucrativas en conferencias y puestos en consejos empresariales por una vida sencilla con Rosalynn en Plains, Georgia, donde ambos nacieron. Carter no quería hacer dinero de su tiempo en la Casa Blanca. “No veo nada malo en ello; no culpo a otras personas por hacerlo”, dijo al Washington Post. “Simplemente nunca fue mi ambición ser rico”. Fue el único presidente moderno en regresar a tiempo completo a la casa en la que vivió antes de entrar en la política, una casa de una sola planta y dos habitaciones. Según el Post, el hogar de los Carter fue valuado en $167,000 – menos que los vehículos del Servicio Secreto estacionados afuera para protegerlos. En 2015, anunció que estaba siendo tratado por cáncer, la enfermedad que mató a sus padres y tres hermanas. Solo unos meses después de una cirugía de cadera rota, volvió a trabajar como voluntario constructor con Habitat for Humanity. El ex presidente y su esposa comenzaron a trabajar con la organización benéfica en 1984, y ayudaron a reparar más de 4,000 hogares en los años siguientes.
