Početkom 19. stoljeća slikarev djed Giuseppe Fagioni, talijanski mornar iz okolice Genove, doživio je brodolom u blizini Cavtata. Dok se njegova brodica popravljala, zaljubio se u djevojku Anu Kličan, oženio se i odlučio stalno nastaniti u Cavtatu. Imali su četiri sina. Jedan od njih, Agostino, pomorac i trgovac, oženio se za Marijetu Perić iz Cavtata i imali su četvero djece: sinove Joza i Vlaha te kćeri Anu i Gjorgju.
Sin Jozo bio je trgovac, kao i otac, kćeri su se udale i zasnovale vlastite obitelji u Cavtatu i na otoku Korčuli, a Vlaho je postao slikar. Godine 1877. Vlaho je odlučio promijeniti obiteljsko prezime Fagioni u hrvatsku inačicu Bukovac (riječ faggio na talijanskom jeziku znači bukva). Prezimenom Bukovac Vlaho se koristio do kraja života.
Vlaho Bukovac se oženio 1892. godine mladom Jelicom Pitarević koja potječe iz dobrostojeće dubrovačke obitelji. U braku su dobili četvero djece: sina Aga te kćeri Mariju, Jelicu i Ivanku. Jelica i Ivanka od mladih dana borave i slikaju u očevom atelijeru, a 1921. godine započinju studij u očevoj klasi kao jedne od prvih žena studentica na praškoj Akademiji likovnih umjetnosti. Jelica Bukovac Radosavljević (1897. - 1967.) i Ivanka Bukovac Javorsky (1899. – 1978.) bile su također slikarice, koje su, svaka ponaosob, ostvarile zanimljive slikarske opuse. Kćer Marija Bukovac Houdek (1895. – 1975.) bila je pijanistica, a sin Ago Bukovac (1893. – 1961.) diplomat.
Osobitim zalaganjem slikarevih nasljednika u njegovoj rodnoj kući u Cavtatu osnovan je muzej Vlaha Bukovca.
