В 1959 году на Брянском машиностроительном заводе (БМЗ) был разработан проект усиленного тепловоза серии ТЭМ1. Для этого тепловоза Пензенским дизельным заводом на базе дизеля 2Д50 разработан более мощный дизель ПД1 (Пензенский дизель, 1-й тип). В 1960 году завод выпустил два, а в 1961 г. еще один маневровый тепловоз повышенной мощности, которые получили обозначение серии ТЭМ2. Конструкция кузова у этих тепловозов незначительно отличается от кузова тепловозов ТЭМ1 первых выпусков: боковые стенки кабины машиниста выполнены без наклона для лучшего обозрения пути. Кроме замены дизеля был заменён главный генератор и внесён ряд других изменений. Первые тепловозы ТЭМ2 поступили для эксплуатации в депо Лихоборы и депо им. Ильича Московской дороги.
После выпуска нескольких доработанных партий тепловозов с 1963 по 1966 год БМЗ, начиная с 1967 года, перешел к серийной постройке тепловозов ТЭМ2. С 1969 года по 1979 год, параллельно с БМЗ тепловозы ТЭМ2 строит Ворошиловградский тепловозостроительный завод.

Тепловоз ТЭМ2-580 выпуска 1970 года первым из локомотивов получил государственный Знак качества.

С 1960 по 1975 год БМЗ изготовлено всего 2160 тепловозов ТЭМ2, в том числе для Министерство путей сообщения (МПС) 2160, Ворошиловградским заводом изготовлено 1000 тепловозов, в том числе для МПС 578. На 1 января 1976 года на железных дорогах СССР находилось 1816 тепловозов ТЭМ2 и ТЭМ2А (модификация с возможностью переделки на колею 1435 мм).

С 1982 года тепловозы ТЭМ2 (с номера 7244) выпускаются с кузовом аналогичным ТЭМ2У.

Брянский машиностроительный завод прекратил выпуск тепловозов семейства ТЭМ2 в 2000 году (последний номер 7870).

Тепловозы серии ТЭМ2 также поставлялись в Монголию, Польшу и на Кубу. В Польше они получили обозначение SM48 и были закуплены с 1976 года в количестве 130 машин.

Сегодня это самый распространенный маневровый тепловоз на территории бывшего Союза. Более четверти века он экспонировался на ВДНХ.