Japaninhemlokki kasvaa Japanissa Honshun saarella 900- 2200 metrin korkeudessa. Laji kasvaa vuorten ylärinteillä melko lähellä metsänrajaa.
Parhailla kasvupaikoilla kasvaessaan puu saavuttaa jopa 25 metrin pituuden, mutta ylärinteillä puut jäävät huomattavasti pienemmiksi. Eurooppaan istutetut koristepuut ovat yleensä jääneet pensasmaisiksi.
Suomeen istutettiin japaninhemlokkeja 1930-luvun alussa metsäntutkimuslaitoksen kokeisiin. Tuntematonta alkuperää olevat puut ovat nykyisin pensastavia ja 5 - 7 metriä korkeita. Mustilan arboretumin puut ovat hivenen suurempia, mutta samalla tavoin leveälatvuksisia suuria pensaita tai haaroittuneita pikku puita. Useat puista saivat neulasvaurioita 80-luvulla, mutta joukossa oli useita täysin vaurioitumattomia. Parhaiten säilyivät puut, jotka sijaitsivat suojaisilla kasvupaikoilla. Nyt levitettävä siemen on kerätty parhaista puista, jotka ovat selvinneet useista ennätyskylmistä pakkastalvista, ja olettaa sopii, että siemenistä syntyvien taimien käyttöalue ei rajoitu aivan leudoimpaan Lounais-Suomeen.
Japaninhemlokki vaatii suojaisan kasvupaikan, eikä sitä silti voida kovin hyvällä menestyksellä viljellä juurikaan yli kolmannen menestymisvyöhykkeen. Laji on kuitenkin niin siro ja mielenkiintoinen, että yrittäminen kannattaa. Japaninhemlokki on sekä neulasiltaan että sormenpäänkokoisilta kävyiltään ehdottomasti kaunein kaikista meillä kasvavista hemlokeista.