Kasneje je na dunajski univerzi študiral zgodovino, zemljepis, nemščino. Po študiju je bil 1858-1860 suplent (profesor pripravnik) v Mariboru, a je moral zaradi narodnega mišljenja zapustiti službo in je bil dve leti privatni učitelj. Od 1863 do 1877 je bil zaposlen na veliki realki v Zagrebu. Januarja 1878 je postal ravnatelj na veliki realki v Rakovcu. Avgusta 1892 se je upokojil in se z družino preselil na Vransko (povzeto po Janku Šlebingerju, Slovenski biografski leksikon).

Viktor Lipež se je 12. februarja 1865 na Vranskem poročil s Karolino Kajetano Marijo Mancheim iz Gradca. Rodila sta se jima Oto (1867-1903) in Karolina (1880-1943). Karolina se je leta 1916 poročila z Mihaelom Lukmanom, banovinskim cestnim nadzornikom iz Tabora. Rodila sta se jima Franc (1920-1944), ki so ga med vojno ustrelili Nemci, in  Angela (1923-1950), ki je prevzela posestvo. Imela je izvenzakonsko hčer Jerico in se je po vojni poročila z Ignacem Ropasom s Trojan, znanim vranskim fotografom, ki se je v povojnih letih prevažal s Fiatovim topolinom.

Viktor Lipež je umrl 27. maja 1902 in je na Vranskem tudi pokopan.

                                                                                                                     Emilijan Brišnik