През 1873 г. е отпечатана книгата на Й. Ковачев „Школска педагогия или методическо ръководство за учителите и управителите на народни школи". Тя носи посвещение на В. Априлов. През следващата година е издаден неговият „Буквар по нагледна и гласна метода", а през 1875 г. излиза и „Български буквар по звучната метода за народните школи", претърпял 5 издания до 1885 г.
Веднага след Освобождението Й. Ковачев се включва активно в изграждането на новата образователна система. През 1878 г. става началник на отделение в отдела за народното просвещение в Пловдив, а през следващата година — губернски училищен инспектор в София. Като народен представител взема участие в работата на учредителното Велико народно събрание в Търново. Непосредствено след това е избран за председател на губернския съвет в София. През 1881 г. става главен секретар на Държавния съвет, а по-късно и негов член. През 1886—1887 г. е кмет на София.
Й. Ковачев е
извънреден преподавател по педагогика във Висшето
педагогическо училище (по-късно Софийски университет) от
основаването му през
1888 г. до смъртта си.