Die im romanischen Stil erbaute Stiftskirche liegt direkt am Florentinerberg ganz in der Nähe des Neuen Schlosses. Im Chor ruhen 14 Markgrafen der Markgrafschaft Baden.
Die Kirche wurde im 15. Jahrhundert in den damals üblichen spätgotischen Stil umgestaltet. Ihren heutigen Turm erhielt sie im 18. Jahrhundert. Gleichzeitig wurde der Innenraum barockisiert. Das heutige Aussehen hat die Kirche einer im Jahr 1867 vorgenommenen Regotisierung zu verdanken.
Über dem Eingangsportal wachen die beiden heiligen Apostel Peter und Paul, denen die Kirche gewidmet ist. Im Inneren sind neben den Grablegen der Markgrafen ein bekanntes spätgotisches Sakramentshaus und ein Kruzifix von Nikolaus Gerhaert von Leyden aus dem Jahre 1467 von besonderer Bedeutung.
Eine Sonderstellung unter den Gräbern der Markgrafen nimmt das aufwendig gestaltete Epitaph des Markgrafen Ludwig Wilhelm von Baden ein. Markgraf Ludwig Georg Simpert (1702-1761) hat seinem Vater 1754 dieses prachtvolle Grab errichtet. Die Figur Ludwig Wilhelms ist umgeben von Figuren, die Weisheit, Tapferkeit und Gerechtigkeit symbolisieren. Diese machen den Ruhm des sogenannten „Türkenlouis“ bis heute deutlich.