Du XIe au XVe siècle, un château féodal, habité par les chevaliers de Telsperg, dressé sur un éperon rocheux, surveilla le passage de la cluse de la Birse entre Delémont et Soyhières. Aujourd'hui, il ne reste que les ruines de la tour principale de la partie supérieure récemment restaurées et consolidées, la tour carrée Sainte-Anne accolée au rocher et la chapelle Notre-Dame du Vorbourg.

Reconstruit en 1586 et restauré en 1969/70, ce sanctuaire est un lieu de pèlerinage très populaire dans le Jura depuis l'essor du culte marial à partir du XVIIe siècle et surtout le couronnement de la Vierge du Vorbourg en 1869. A l'intérieur, statue "miraculeuse" de la Vierge à l'Enfant du XVIIe s. et nombreux ex-voto exprimant la dévotion populaire et présentant des qualités artistiques certaines.