Virginianpihta kasvaa hajanaisina esiintyminä Appalakkien vuoristossa Pohjois-Amerikan itäosissa 1600–2000 metrin korkeudella. Ylimmillään se esiintyy puhtaina metsinä, alempana sekametsissä useimmiten punakuusen (Picea rubens) kanssa. Alueelle on tyypillistä melko kostea, usein myös sumuinen ilmasto. Appalakkien ylärinteiden puusto lienee kylmemmän ilmastojakson jäänne samaan tapaan kuin koreanpihdan (Abies koreana) harvat esiintymät Etelä-Korean vuoristoissa.
Virginianpihta muistuttaa palsamipihtaa (A. balsamea). Eräät tutkijat pitävätkin sitä palsamipihdan alalajina tai muunnoksena. Neulaset ovat samaan tapaan kauniisti jakauksessa mutta lyhyemmät kuin palsamipihdalla. Kävyissä erottavana tuntomerkkinä ovat pitkät käpysuomujen välistä esiinpistävät taaskäänteiset suojussuomut. Virginianpihta on palsamipihtaa pienempi ja hidaskasvuisempi. Kauniin säännöllisen muotonsa takia virginianpihta on itäisessä USA:ssa runsaasti viljelty joulukuusipuu.
Virginianpihdan luontaiset kasvupaikat ovat epätavallisen happamia (pH 3,5-4,2). On vaikea sanoa, asettaako tämä erityisiä vaatimuksia kasvualustalle Suomessa, sillä virginianpihdasta on meillä hyvin vähän kokemuksia. Ensimmäiset kokeilut Mustilassa ovat menestyneet aika surkeasti, mutta vuonna 2000 istutettu Roan Mountainin alkuperä sen sijaan on pärjännyt erinomaisesti.