Les paroles de cet hymne très court ont été écrites par un poète inconnu du dixième siècle. Elles furent récitées lors de différents évènements et cérémonies marquants de l'histoire du Japon. La musique a été composée beaucoup plus tard, au dix-neuvième siècle, par Hayashi Hiromori, un musicien de la cour impériale.
C'est le 3 novembre 1880 que Kimi Ga Yo fut présenté à l'empereur Meiji, dont c'était l'anniversaire. Il fut joué à maintes reprises au cours du siècle qui suivit mais ne fut consacré hymne national que le 29 juin 1999, date à laquelle le drapeau japonais au disque solaire Hinomaru fut lui aussi officialisé. Il faut dire que certains pays asiatiques, qui y voyaient un symbole de l'impérialisme et de l'expansionisme nippon dont ils avaient eu à souffrir, avaient élevé quelques protestations.
Kimi Ga Yo, qui signifie Votre Règne évoquait initialement le culte de l'empereur, qui était considéré et honoré comme un demi-dieu. Le Japon était alors régi par un code de vie très strict, pétri de bouddhisme, de shintoïsme et de confucianisme. Dans cet esprit, les principes fondamentaux à respecter sont la considération pour les dangers et la mort, l'amour de la patrie et de la personne de l'empereur, la morale et la culture, y compris dans les relations sociales. Le bushido (voie des guerriers), code de l'honneur dont devaient répondre sur leur vie les samouraï, exigeait de leur part une loyauté et une fidélité sans faille.
A l'époque de la deuxième guerre mondiale, l'hymne fut utilisé pour exalter le militarisme nippon. Cette interprétation fut modifiée lors de l'adoption de l'oeuvre en tant qu'hymne national, et Kimi Ga Yo représente aujourd'hui pour le Japon, berceau des arts martiaux, la quête permanente de la paix et de la prospérité.