Der kleinere Turm ist romanisch und stammt aus dem 12. Jahrhundert. Es handelt sich dabei um den Rest der Judithbrücke. Der höhere Turm ist um 200 Jahre jünger (1464) und sein spätgotischer Baustil erinnert an Parlers Altstädter Brückenturm.
Das Eintrittstor auf die Karlsbrücke von der Altstadt aus gilt als das schönste gotische Tor in Europa, ein Erzeugnis des damaligen Werkstattverbandes. Vollendet wurde der größere Turm dann im Jahre 1380. Der Turm ist reich an Skulpturenschmuck - Wappen der Länder der böhmischen Krone in der Regierungszeit Karls IV., Statuen des hl. Veit, Wenzels IV., des hl. Adalbert und Sigismunds.