Nishiyama nació el 10 de octubre de 1928 en Tokio, Japón. Durante su infancia el karate era mayormente desconocida en Japón, y los niños estaban obligados a entrenar, ya sea en el judo o el kendo en la escuela. Él comenzó a aprender kendo en 1933 y judo en 1938.

En 1943 se inició en el Karate Shotokan en el Hombu Dojo, en virtud de su fundador, Gichin Funakoshi. Su interés en el karate se había despertado por dos cosas: un viejo libro escrito por un maestro de la espada (Nishiyama estima que el libro fue escrito alrededor de 1550 ), y Zoku Sugata Sanshiro (1945), una película de Akira Kurosawa. En 1949 fue el encargado del programa de formación de los instructores de la JKA  hasta finales de 1950.

En 1952, Nishiyama comenzó a dar clases de karate al personal militar del Comando Aéreo Estratégico (SAC). Los otros instructores de karate para este programa incluyen a Masatoshi Nakayama y Isao Obata. Al año siguiente,  la Fuerza Aérea general Curtis Lemay de Estados Unidos invitó a varios instructores, incluyendo Nishiyama, para recorrer las bases aéreas en el continente de América del Norte. En julio de 1961, Nishiyama se mudó a los Estados Unidos de América, por invitación de sus alumnos de la SAC, y fundó el All American Karate Federation (AAKF).