五十音図は平安時代からあり、「五音（ごいん）」と言いました。現存する最古の五十音図は11世紀初めの醍醐寺蔵『孔雀経音義』です。しかし並べ方は「キコカケク」から始まっており、現在のものとはだいぶ異なります。

この起源は、仏教とともに日本へ伝来してきた古代サンスクリット文字の悉曇（しったん）から出たという説があります。これを、真言宗僧侶の浄厳とその弟子の国学者契沖が江戸時代に整えたのが、現在の五十音図です。

ただ現在のものは改編して、ヤ行は「ヤユヨ」、ワ行は「ワヲ（ン）」となっているものが多いようです。図に載らなくなった、字の違う「イ」と「ヰ」、「エ」と「ヱ」は、「オ」と「ヲ」を含めて、元の発音が別であったと考えるべきでしょう。

とするとヤ行の「イ」「エ」やワ行の「ウ」はどうなのでしょうか。元はあったようですが、早くも万葉集の時代にはその区別はなくなっていたようです。ちなみに、表外に「ン」を配したものは今では普通ですが、本来五十音図には、ないものです。
（参考文献：大野晋・丸谷才一・大岡信・井上ひさし『日本語相談　一』朝日新聞社、『日本大百科全書』小学館）