Navzdory tomu, že v armádě našel domov a určitou míru stability, se Poe po pouhých dvou letech pětiletého povinného studia začal nudit a frustrovat. Přišel s nápadem odejít z armády a navštěvovat americkou vojenskou akademii ve West Pointu. Jeho velící důstojník s ním soucítil, ale Poeovi by pomohl pouze tehdy, kdyby se smířil se svým adoptivním otcem Johnem Allenem, kterému byl zcela odcizen. Důstojník skutečně napsal Allanovi, vysvětlil Edgarovu současnou situaci a požádal, aby se znovu setkal se svým svěřencem. Ale v typickém projevu lhostejnosti Allan úsečně odpověděl, že Edgar by měl zůstat přesně tam, kde je, a dokončit svou službu, což také zajistilo, že Poe nebude jeho problém, alespoň na další tři roky. Pouze smrt Allanovy manželky v roce 1829 a Poeova účast na pohřbu oboustranně milované ženy způsobily, že Allen neradpomohl Poeovi dostat se do West Pointu.
Na základě skvělých referenčních dopisů od svých velících důstojníků a poskytnutím náhrady, aby dokončil svůj odvod, se Poeovi podařilo zajistit přijetí do West Pointu, které formálně začalo 1. července 1830. Jak se dalo předpokládat, byl Poe jako kadet nešťastný a poté, co absolvoval první semestr, následoval pokus o záměrné vyloučení. Jeho přání se mu splnilo poté, co byl 8. února 1831 postaven před vojenský soud a odsouzen za zanedbání povinnosti, nikoli – jak říká legenda – za to, že přišel na cvičení nahý…
