Po narození Jimmyho Cartera se jeho rodiče přestěhovali do domu na Bond Street v Plains ve státě Georgia. Jejich sousedé, Allie a Edgar Smithovi, přivítali na svět 18. srpna 1927 své první dítě, Eleanor Rosalynn.
Lillian Carter, registrovaná zdravotní sestra, pomohla porodit Eleanor Rosalynn. Podle Carterova životopisce Jonathana Altera: Porodila ji matka Jimmyho Cartera, která byla zdravotní sestrou, a pár dní poté, co se dítě narodilo, sestra, Jimmyho matka, slečna Lillian Carterová, přivedla svého tříletého syna, aby viděl dítě.
Uplynulo téměř 20 let, než spolu Jimmy a Rosalynn začali chodit. Ve skutečnosti byla velmi blízkou přítelkyní s Jimmyho mladší sestrou Ruth. Jejich romantické námluvy začaly v roce 1945, a zatímco Jimmy věděl, že si chce vzít Rosalynn, ona ho zpočátku odmítla. Měla obavy, že vše jde příliš rychle…
