Ellmau leży pod skalnymi ścianami Wilder Kaiser w Alpach Kitzbühelskich. Kolejka linowa na Hartkaiser oferuje trasy panoramiczne i rodzinne, a okoliczne ścieżki prowadzą do schronisk górskich i miejsc znanych z serialu Lekarz Górski. Zimą Ellmau jest częścią rozległego terenu narciarskiego SkiWelt Wilder Kaiser – Brixental.