Magyarországon született 1964 áprilisában egy matematikus anya és egy jazz-zongorista apa első gyermekeként. Első zongoratanára Németh Emma, aki Claude Debussy tanítványa volt. Tizenhat évesen vállalta el első európai turnéját.
1981-ben Varnus elhagyta Magyarországot, hogy a félelmetes Pierre Cochereau-val, a Notre-Dame Katedrális egykori orgonistájával tanuljon. Cochereau a maga részéről eldöntötte, hogy „Xaver Varnus párját ritkító jelenség a kortárs orgona krónikájában”. Észak-amerikai debütálása 1985. május 5-én történt háromezer fős közönség előtt a washingtoni, az Immaculate Conception (a Szeplőtelen Fogantatás) Bazilikában.
Gyakorlatilag minden jelentősebb orgonán játszott már a világon, többek között Bach Thomas templomában, Lipcsében, a Notre-Dame-ban és a párizsi Saint-Eustache templomban, a moszkvai Csajkovszkij Zeneakadémián, valamint a Philadelphiában található Wanamaker Grand Courtban, a világon ma létező legnagyobb orgonán.
1993 óta Varnus volt a Magyar Nemzetközi Orgona Fesztivál igazgatója Zalaegerszeg városában, miközben A remete lemezei című heti programját készítette és vezette a Magyar Televízióban. Varnus több mint négymillió embernek játszott eddig világszerte, és 51 albumot adott ki. Az 1992-es Bach–Mozart–Albinoni válogatás az Európában valaha megjelent orgonafelvételek között az első számú bestseller volt: kétszázhúszezer példányszám felett adtak el belőle.
Operafesztiváli fellépése:
2006. 06. 20.