Расположение Ельца на границе с Диким полем, на торных дорогах,по которым кочевые орды направлялись в русские земли, определяло его трудную судьбу. Много раз он преграждал путь завоевателям ценой собственного существования. В конце XV века территория Елецкого края запустела после жестоких татарских набегов. В обороне южных рубежей России образовалась брешь. На границе по реке Быстрая Сосна был построен город Ливны (1586), защищавший верхнее течение реки. Для защиты участка вниз по течению решено было возродить древний город Елец.

Осенью 1591 года был проведен набор из бывших крестьян, стрельцов и казаков Верхней Оки, тульского и рязанского края. Едва обустроившись на новом месте, служилые люди приступили к постройке крепости. К весне 1592 года основные оборонительные и административные сооружения были возведены. Строительством руководили елецкий воевода князь Андрей Дмитриевич Звенигородский и тульский дворянин Иван Никитич Мясной. Из Владимира пригласили  градостроителя Илью Катеринина. Был составлен первый чертеж города.

С наступлением лета князь Звенигородский стал налаживать сторожевую службу вокруг города. 29 июля 1592 года в Москву была прислана роспись елецким сторожам. В ней сообщалось о 9 сторожах, размещенных по Быстрой Сосне и в степи. Указом царя Фёдора Ивановича сторожи были учреждены в устьях рек Воргол, Чернава, Пальна, Талица; в верховьях реки Паниковец; под лесами: Радушкиным, Котельским; по Новосильской дороге, на Козьей горе (ныне с. Казинка). Елецкие сторожи закрывали подступы к Москве на участке около семидесяти километров. Они были тесно связаны со сторожевыми службами Воронежа, Данкова, Мценска и других крепостей. Служба начиналась с первого апреля и заканчивалась первого декабря. Служилые отряды менялись через каждые 15 дней, иногда эта опасная служба продолжалась и дольше. Жалование отрядам определялось специальным указом царя Федора Ивановича. После окончания «смуты» в России (1613) Елец вновь выставил свои дозоры на путях татарских набегов. Радиус сторожевой службы постепенно расширялся, сдвигаясь на юг.

Один из первых историков города П. Ридингер писал: «Елец с гордостью может сказать, что он, стоя на окраине земли русской, отслужил своему отечеству долгую, трудную службу, полную бесчисленных и невозвратных жертв».