Дубовый кремль в городе появился еще во второй половине XIV века. Его конфигурацию полностью повторили в 1556 году, когда заменяли деревянные стены и башни на белокаменные. Одновременно с возведением каменных стен кремля обнесли деревянной крепостью посадскую часть с торгом, которая сгорела при польской осаде в 1609 году. Примечательно, что взять кремль поляки тогда не смогли. Следующие завоеватели также не могли пройти дальше посада. Восстановленный после поляков посад вновь горел в 1669 году.
В конце XVII – XVIII веков кремль и острог ремонтировать перестали. Все чаще валились камни со стен кремля, а деревянные башни и вовсе грозили обвалиться. В конце XVIII века сооружения стали разбирать. Это происходило во многих городах, так как крепости передали на попечение местных властей. В начале XIX века был подписан указ, по которому постройки древности надлежало сохранять. И чудом уцелевшие части кремля были укреплены.
Кремль Серпухова дошел бы до наших дней в большей сохранности, если бы на этом история закончилась, но в 1930-х камни понадобились для строительства Московского метрополитена. Кремль разобрали, но камни пошли не в Москву, а в другие города, так как для метро они не годились.
Сейчас от стен кремля осталось лишь два небольших фрагмента. При археологических раскопках на территории кремля выявили застройку городища XII – XVII веков и следы пребывания здесь человека в каменном веке.
Сейчас в кремле помимо живописных развалин стоит Троицкий собор. Он был построен в стиле московского барокко в XVII веке, но реконструирован
в XIX в духе позднего классицизма. Троицкий собор сейчас передан в ведение Церкви. Проводится реконструкция, которая должна завершиться в III квартале 2018 года.
Также в кремле находится мемориал воинам Великой Отечественной войны, конюшня и несколько частных домов.
