Visakoivua kasvaa melko suppealla alueella Pohjois- ja Itä-Euroopassa. Sitä esiintyy luontaisesti Norjan, Ruotsin ja Suomen eteläosissa, Baltian maissa, Venäjän Karjalan eteläosissa, Ukrainassa sekä Länsi- ja Valko-Venäjällä. Puolasta, Saksasta ja Slovakiasta on löydetty hajanaisia ja pienialaisia esiintymiä.
Kaikkialla esiintymisalueellaan visakoivu on harvinainen ja kasvaa yksittäisinä puina tai pieninä puuryhminä. Hitaan kasvunsa ja suuren valontarpeensa vuoksi se voi kasvaa vain paikoilla, missä muiden puiden kilpailu on vähäistä, kuten aukkoisissa metsissä ja reunametsissä sekä hylätyillä laidun- ja peltomailla.
Visakoivun esiintymisen on arveltu liittyvän kaskiviljelyyn, jota harjoittivat Euroopassa viimeksi suomalais-ugrilaiset kansat. Esimerkiksi Norjan kaakkoisosiin kaskiviljelyn veivät mukanaan Suomesta muuttaneet siirtolaiset, ”metsäsuomalaiset”. Suomessa keskeisiä visakoivun esiintymisalueita ovat Häme ja Savo, missä kaskiviljelyä harjoitettiin paikoin 1900-luvun alkuun asti. Kaskeamisen päätyttyä alueet uudistuivat koivun runsaista siemensadoista, jolloin valoa ja kasvutilaa vaativan visakoivunkin oli mahdollista menestyä avoimilla ahoilla.
Visakoivua on kasvatettu istutettuna myös kaukana sen luontaisen levinneisyysalueen ulkopuolella. Sitä on viljelty hyvin tuloksin mm. Siperiassa Novosibirskin ja Omskin alueilla sekä Keski-Uralilla.
Suomessa visakoivun luontainen levinneisyysalue rajoittuu maan etelä- ja keskiosiin. Luontaista visaa kasvaa nykyisin eniten Päijänteen ympäristössä, etenkin Sysmässä ja Padasjoella sekä muualla Hämeessä, varsinkin Hämeenlinnan, Hauhon ja Tampereen välisellä alueella. Runsaasti esiintymiä on löydetty myös Etelä- ja Itä-Savosta, sekä harvalukuisemmin Pohjois-Savosta ja Pohjois-Karjalasta. Maamme pohjoisimmat yksittäiset visakoivut on löydetty Utajärveltä, Oulujoen varrelta.
Luontaista visakoivua on viime vuosisadan alussa kasvanut runsaasti myös Varsinais-Suomessa ja Länsi-Uudellamaalla, mutta noiden seutujen esiintymät ovat voimakkaasti taantuneet metsänkäsittelyn ja maankäytön muutosten myötä. Luontaisella levinneisyysalueellaan visakoivu on ollut tyypillisesti entisten kaski- ja laidunmaiden sekä järvenrantametsien puu.
Istutettuna visakoivua kasvaa maassamme huomattavasti laajemmalla alueella, aina Lappia myöten. Visakoivun viljely Lapissa alkoi jo 1930-luvulla ja laajeni edelleen 1950-luvulla ja 1960-luvun alussa, jolloin Metsähallitus perusti 30 ha visakoivikoita eri puolille Lappia. Näistä viljelyksistä valtaosa tuhoutui hirvien, porojen ja myyrien aiheuttamien tuhojen vuoksi. Myös hyviä visakoita löytyy Lapista, jos ne on suojattu eläimiltä. Puisto- ja kujannepuuna visakoivua on käytetty erityisesti Rovaniemellä. Pohjoisimmat istutetut visakoivut löytyvät Ivalosta.
