Harmaapihta on helppo erottaa muista kuusimaisista koristehavupuista neulasten perusteella. Pitkät ja käyrät, pyöreäkärkiset neulaset ovat väriltään hopeanharmaat sekä ylä- että alapuolelta. Väri vaihtelee yksilötasolla, kuten okakuusella (Picea pungens), joka on kotoisin samoilta alueilta Yhdysvaltojen Kalliovuorilta. Harmaapihta on melko lyhytikäinen havupuu, joka muodostaa voimakkaan leveähkön latvuksen.
Harmaapihta on pienenä hyvin kaunis puu, mutta aikuisena säilyttää kauneutensa vain valoisilla paikoilla. Metsikkönä kasvaessaan se ränsistyy nopeasti, ja niinpä kaikki Arboretum Mustilan perustajan A. F. Tigerstedtin aikana istutetut harmaapihdat ovat jo aikaa sitten tuhoutuneet. Lisäksi Mustilan harmaapihtoja näyttää riivaavan jokin tauti, jolle vain muutamat yksilöt tuntuvat olevan vastustuskykyisiä. Komeimmat puut kasvavat Pähkinärinteessä ja ovat enimmäkseen itsekseen kylväytyneitä vanhojen puiden jälkeläisiä.