Умер 28 сентября 1981 года. Похоронен на аллее Героев на Западном кладбище Великого Новгорода. Могила является памятником истории республиканского значения (решение Новгородского облисполкома от 7 мая 1985 года № 181).
Почётный гражданин городов Валдая (с 27 мая 1970 года) и Волгограда (с 7 мая 1980 года).
Имя Я. Ф. Павлова было присвоено одному из судов Министерства рыбной промышленности СССР и школе-интернату для детей и детей-сирот № 1 в Великом Новгороде, в котором был создан музей имени Якова Павлова, ежегодно проходили памятные мероприятия, в которых участвовали члены семьи Павловых.
ГОАОУ «Средняя общеобразовательная школа-интернат «Спарта», которая сейчас располагается в здании бывшего дома-интерната для детей сирот им. Якова Павлова, достойно хранит память о Герое в музее Героя. В 2018 году был сформирован и ведет активную добровольческую деятельность отряд «Волонтеры Победы» имени Героя Советского Союза Я. Ф. Павлова.
Имя героя также носит улица в Великом Новгороде. На доме, где Я. Ф. Павлов жил последние годы, открыта мемориальная доска с барельефом героя.
На торцовой стороне «Дома Павлова» в Волгограде (улица Советская, дом 39) установлен барельеф (скульптор А. В. Голованов). В Новгородском политехническом институте был учреждён переходящий приз имени героя, который ежегодно 25 ноября вручался лучшей группе.
Награждён орденами Ленина, Октябрьской Революции, двумя орденами Красной Звезды, двумя медалями «За отвагу», медалями «За оборону Сталинграда», «За победу над Германией в Великой Отечественной войне 1941–1945 гг.», юбилейной медалью.