De Pieterskerk, het oostelijk deel van het kerkenkruis, is de best bewaard gebleven kerk van bisschop Bernold. Hij werd gebouwd tussen 1040 en 1048. Zijn prachtige torens zijn bij een storm in 1674 verloren gegaan. Heel bijzonder is de crypt of onderkerk, waarin de stenen grafkist van bisschop Bernold staat. De noordelijke zijkapel heeft ook nog zijn romaanse vorm. In de gotische, zuidelijke kapel, uit omstreeks 1310, is een deel van de tegelvloer uit die tijd te zien. Aan weerszijden van de treden naar het hoogkoor zijn vier reliëfs aangebracht, die tijdens de restauratie onder de grond teruggevonden zijn. Het schip valt natuurlijk meteen op door zijn zuilen van rode zandsteen die uit één stuk vervaardigd zijn. In de tentoonstellingsruimte aan de westzijde van de kerk hangen foto's over de geschiedenis van de kerk; in de vitrines liggen voorwerpen die tijdens opgravingen in de kerk gevonden zijn. De Romeinse vondsten komen uit een kleine nederzetting, die zich daar tussen 47 en circa 250 na Chr. bevonden heeft.