Korkeakasvuisen varjoliljan varressa saattaa olla jopa viisikymmentä turbaania muistuttavaa pilkullista kukkaa. Kukkien pilkutuksen määrä sekä kukan väri voivat vaihdella eri yksilöillä samassakin kasvustossa. Varjolilja tuoksuu yöaikaan ja sen ympärillä voi iltaisin nähdä kiitäjiä imemässä mettä kukista.
Varjolilja pärjää täydessä auringossa, mutta useimmista liljoista poiketen se kukkii myös puiden varjossa, joten se sopii hyvin metsäpuutarhaan. Mustilassa varjoliljoja tapaa valoisilla metsäaukioilla Etelärinteellä sekä Terassin ja Alppiruusulaakson luoteislaidalla.
Varjolilja kasvaa luonnonvaraisena Länsi-Euroopasta Siperiaan ja Mongoliaan ulottuvalla alueella ja meitä lähimmät luontaiset esiintymät ovat Virossa. Suomessa varjoliljaa on vanhanajan pihapiiriin kuuluva perinnekasvi, joka on pitkäikäinen ja sinnikäs ja viihtyessään lisääntyy myös siemenistä. Sitä saattaakin kasvaa viljelyjäänteenä raunioiden liepeillä muiden asutuksen jälkien jo hävittyä.