Город был основан в конце XIV века князем Владимиром Андреевичем Серпуховским (Храбрым), который назвал его в честь своего четвёртого сына - Ярославлем, Ярославль боровский — Ярославец. Первое письменное упоминание относится к 1402 году; в 2002  город отпраздновал 600-летие. 

Во времена Владимира Андреевича Храброго и его наследников Малоярославецкая крепость на высоком берегу служила Московскому княжеству защитой на южной границе. К концу XV столетия городок Ярославец перестаёт играть роль пограничной крепости, границы отодвинулись от него. Он стал торговым и ремесленным поселением. Вскоре Ярославец перестал быть центром удельного княжения — по завещанию князя Михаила Андреевича вместе со станами и волостями вошёл в состав Московского княжества. После присоединения города к Московскому княжеству в 1485 году был переименован в Малоярославец.

В 1551 году было составлено описание Ярославца, насчитали около 1000 жителей. Опустошительный набег крымских татар 1571 года почти уничтожил поселение. Впервые город официально назван Ярославцем Малым в духовной грамоте государя царя и великого князя Ивана Васильевича Грозного, который завещал его сыну Ивану. Вероятно, слово «Малый» появилось в названии именно после нашествия татар 1571 года, так как от городка тогда мало что осталось. 

По некоторым утверждениям, название Малоярославец появилось ранее — например, в 1505 году.

В 1776 году Малоярославцу присвоен статус уездного города Малоярославецкого уезда Калужской губернии.Собор Успения Пресвятой Богородицы, построенный на народные пожертвования в честь 100-летия победы в Малоярославецком сражении на месте разрушенной во время сражения Успенской церкви XVIII века

Во время Отечественной войны 1812 года город был небольшим с населением всего 1500 жителей. 24 октября 1812 года город стал ареной кровопролитного сражения между Великой армией Наполеона, пытавшейся пробиться на Калужскую дорогу, и русскими войсками под командованием Кутузова. В ходе 17-часового боя город 8 раз переходил из рук в руки, в итоге был практически полностью уничтожен.

Во время Малоярославецкого сражения Савва Иванович Беляев (повытчик, секретарь малоярославецкого нижнего земского суда) уничтожил плотину у городской мельницы. Вода, хлынув на возводимые французами понтоны, смыла их и французские войска не смогли попасть в город. За этот подвиг С. И. Беляеву в Малоярославце поставлен памятник и названа одна из улиц города.

В результате Малоярославецкого сражения остатки города остались за французами, но Кутузов вывел войска на более удобные позиции вне города. После этого стратегического сражения Наполеон понял, что на юг страны ему не прорваться, и решил, что пора отступать из России, дав команду к отходу на Боровск и Верею. В память войны 1812 года в городе в 1844 году был поставлен монумент-часовня (аналогичный памятник есть на Бородинском поле и ещё в нескольких ключевых местах войны 1812 года). Монумент был разрушен коммунистами в 1930-х годах, в 2010 году воссоздан заново. В честь битвы под Малоярославцем открытый в 1820 году остров получил название Малый Ярославец. 

С 1929 года город является центром Малоярославецкого района Московской области (с 1944 года — Калужской области).

Родившемуся в Малоярославце пограничнику В. В. Петрову (1920—1941) было посмертно присвоено звание Героя Советского Союза.

До 2010 года Малоярославец имел статус исторического поселения, однако Приказом Министерства Культуры РФ от 29 июля 2010 г. № 418/339 город был этого статуса лишён^[20]. Проведение торжественных мероприятий, приуроченных к празднованиям 600-летия Малоярославца и 200-летия Отечественной войны, содействовало осуществлению масштабных проектов благоустройства центра города, предусматривающих формирование парковой зоны с бульваром и скверами, восстановление старых памятников истории и культуры (таких, как монумент в память Малоярославецкого сражения 12 октября 1812 г., собор Успения Пресвятой Богородицы и церковь Казанской иконы Божией матери), а также возведение новых. В 2005 году занял второе место по итогам конкурса самый благоустроенный город России в категории городов с населением до 100 тыс. жителей, уступив дагестанскому Избербашу.