Gradinile de Est ale Palatului Imperial (皇居東御苑, Kōkyo Higashi Gyoen) fac parte din zona interioara a palatului si sunt deschise gratuit publicului. Acestea sunt situate chiar in interiorul cercurilor de aparare ale fostului Castel Edo, honmaru („cercul principal”) si ninomaru („cercul secundar”). Niciuna din cladirile principale ale cercurilor de aparare nu mai exista astazi, dar se pot vedea inca santuri, ziduri, porti si fundatia turnului castelului.
Castelul Edo a fost resedinta shogunilor din clanul Takugawa care au condus Japonia intre 1603 si 1867. De asemenea, imparatul Meiji a locuit in castel in perioada 1868-1888 inainte de a se muta in Palatal Imperial nou construit.