Današnja župna crkva, Crkva uznesenja Marijina, nastala je na temeljima ranogotičke crkve, te je proširena i fortificirana 1535. g. Sakristija crkve čuva dragocjeno liturgijsko ruho, te nekoliko križeva umjetničke vrijednosti, a posebno je vrijedna slika “ Bogorodica i mučenje Fabijana i Sebastijana” flamansko-mletačkog slikara Pietera de Costera. 15. kolovoza na dan Vele Gospe (Uznesenja Marijinog) u Jelsi je fešta, kada Jelsu posjećuju stanovnici okolnih mjesta, te se uz tradicionalna jela i klapsku pjesmu slavi do dugo u noć.
U noći Velikog četvrtka iz Jelse kreće procesija ZA KRIŽEM prema Pitvama, te dalje prema Vrisniku, Svirčima, Vrbanju i Vrboskoj, da bi se nakon puta dugog 22 km, s prvim zrakama sunca, vratila nazad u svoju matičnu crkvu. Ova jedinstvena tradicija koja se na otoku održava više od 500 godina nalazi se i na reprezentativnoj UNESCO listi nematerijalne kulturne baštine svijeta.
