山田さんは1932年東京生まれ。1953年に早大を中退して劇団民藝研究生となりますが、自身のやりたかったコメディが出来ず基礎練習ばかりに耐えかね、1年で退団してしまいます。1958年、熊倉一雄さんに誘われて劇団テアトル・エコーに入団、同年8月に初舞台。熊倉さんから勧められたこともあり外国ドラマの吹き替えを始め、クリント・イーストウッドは彼の持ち役になりました。

テアトル・エコーといえば、1969年から1975年まで井上ひさしさんの作品を上演していたことでも有名です。山田さんは『日本人のへそ』『表裏源内蛙合戦』『珍訳聖書』などで主役や準主役を務めました。ルパン三世の声優は1971年の第1作スタート時から担当し、また「お笑いスター誕生!!」の司会者も。まさに八面六臂の大活躍ですが、山田さんの心は常に舞台とともにありました。

「声優でなく役者を目指せ。演技は全身でするものだ」が口癖で、「声優は役者の仕事のひとつ」というスタンスは納谷悟朗さんも同じ。しかし声優の仕事を軽んじていたわけではなく、むしろその地位向上に尽くしました。吹き替えをやっても再放送のギャラは不払いだったことに抗議し、テレビ局にデモをしたことも。現在では当然のことを勝ち取ってきたのが山田さんだったのです。
（参考資料：「ルパン三世も涙…25年目の“終演”山田康雄さん逝く」スポーツニッポン1995年3月20日付、テアトル・エコーホームページ）