6 февраля 1869 года был утвержден Устав Александровского ремесленного железнодорожного училища в г. Ельце Орловской губернии (ныне Липецкой области) при мастерских Орловско-Грязинской железной дороги.
Инициатива открытия училища принадлежала строителю железных дорог купцу I гильдии С. С. Полякову по ходатайству первого Министра путей сообщения П. П. Мельникова. (По другим сведениям С. С. Поляков построил училище на свои средства в 1880 г.)
Торжественное открытие училища состоялось в день рождения Императора Всероссийского Александра II, в честь которого и было названо, а именно 17 апреля 1969 года.
Это было первое в России железнодорожное училище, готовившее железнодорожных техников. Учащимся и преподавателям предназначались 2-х этажное кирпичное здание учебного корпуса и каменное здание учебных мастерских, к которым прилагались два общежития, баня и прачечная, сад и гимнастический городок. Деревянный одноэтажный дом выстроен был для начальника училища.
В 1891 году сыном учредителя Д. С. Поляковым училище было передано в ведение Министерства путей сообщения.
Училище участвовало во Всероссийских выставках 1872 и 1882 годов, где было награждено большой медалью и дипломом 2 степени, во Всероссийской гигиенической выставке 1893 года, а также во Всемирной выставке в Париже в 1900 году. Принимало активное участие в съездах русских деятелей по техническому и профессиональному образованию в России и выставках при них в 1889-1990, 1895-1996 и 1903-1904 годах.
Статус училища менялся: средне-техническое училище строительных специальностей (1917), строительный техникум Народного комиссариата путей сообщения (1922), профессионально-техническая школа строительных специальностей (1923-1925), путейско-строительный техникум (1930). В 1925-1939 годах при техникуме работала школа фабрично-заводского ученичества. В годы Великой Отечественной войны техникум был дважды эвакуирован – в Саратов (1941) и Можгу Удмуртской АССР (1942).
В 1943 году возвратившийся из эвакуации техникум разместился в здании общежития по Рязано-Уральской улице, так как учебный корпус пострадал при налете вражеской авиации. Здания общежития также пострадали, но были восстановлены силами студентов и преподавателей. В 1952 году техникум был переведен в новый учебный корпус, специально построенный по проекту архитектора М. А. Готлиба.
В 1963 году открыто заочное отделение по специальностям техникума. В 1966 году открыты дневное и заочное отделения по специальности «Путевые и строительные машины», а в 1972 году – дневное отделение по специальности «Мосты и другие искусственные сооружения».
В 2007 году техникум был признан одним из 100 лучших средних специальных учебных заведений России. Директору техникума В. Г. Краснову был вручен знак «Директор года-2007». В 2015 году статус «Лучшее подразделение среднего профессионального образования» техникумом был подтвержден.
В 2009 году Елецкий железнодорожный техникум вошел в состав Московского государственного университета путей сообщения. С апреля 2016 года Елецкий техникум железнодорожного транспорта является филиалом Ростовского государственного университета путей сообщения.