Mucho antes de comandar Bon Iver y Volcano Choir, Justin Vernon hizo música con diferentes alias (a saber: JD Vernon, su banda DeYarmond Edison). Pero a los 12 años, cuando era el capitán del equipo de fútbol de su colegio, Vernon lideraba Mount Vernon.
En 1998 publicaron su primer disco, We Can Look Up, y hoy Pitchfork publicó el video (¡de más de media hora!) que muestra a este grupo en una batalla de bandas del secundario, en noviembre de ese año. Vernon estaba acompañado por Phil Cook, Brad Cool y Joe Westerlund.