1967-ben ismerte meg őt az ország a csepeli autószerelő fiatalembert a Táncdalfesztivál által, ahol a Jöjj vissza hozzám... kezdetű Pető István-dallal aratott közönségsikert, és a következő két évben is közönségdíjat nyert A csongrádi kisbíró unokája vagyok és A talált tárgyak című szerzeményekkel. Szakmai tanulmányait 1968-ban kezdte el az Országos Szórakoztatózenei Központban, ahol 1971-ben tett előadó-művészi szakvizsgát, majd három évvel később a Színház- és Filmművészeti Főiskola operett tanszakán diplomázott Vályi Éva, dr. Sipos Jenő, Nádasdy Kálmán, Vámos László és Seregi László növendékeként. Eközben már a Budapesti Operettszínházban játszott (1971-től), a Nagymező utcában A mosoly országa Szu-Csong hercegeként debütált. 1976-ban szerződött a grazi operához, itt 1990-ig volt tag. Főbb szerepei: Petrov (Jacobi Viktor: Sybill), Orfeusz (Offenbach: Orfeusz az alvilágban), Kukorica Jancsi (Kacsóh Pongrác: János vitéz). 1990-ben indította el az Interoperett Kft.-t, amely menedzserirodaként és operettestek producereként működött, ezek közül többet közvetítettek hazai televíziócsatornák. Munkája során számos fiatal énekes tehetséget fedezett fel. Kovács József 1997-ben lett Csepel díszpolgára.