В 1930-е годы он приезжает в Москву и начинает учиться в Литературном институте. После окончания института в 1939 году Матусовский поступает в аспирантуру, где занимается в основном исследованиями древнерусской литературы под руководством Н.Гудзия.
Первая книга стихов Матусовского «Луганчане», написанная совместно с Константином Симоновым, вышла в свет в 1939 году. В 1941 году поэт собирался защитить диссертацию, однако началась война, и он ушёл на фронт.
Его бывший научный руководитель Н.Гудзий способствовал тому, чтобы защита диссертации состоялась без присутствия Матусовского. Таким образом, находясь на фронте, Михаил Львович получил степень кандидата филологических наук.
Во время войны вышли его сборники стихов: «Фронт» (1942), «Когда шумит Ильмень-озеро» (1944), в послевоенные годы – «Слушая Москву» (1948), «Улица мира» (1951), «Тень человека. Книга стихотворений о Хиросиме, о ее борьбе и ее страданиях, о ее людях и ее камнях» (1968) и другие.
На стихи Матусовского созданы такие известные песни как «Школьный вальс», «Подмосковные вечера», песни к кинофильмам «Верные друзья», «Испытание верности», «Неподдающиеся».
В 1977 году поэт был удостоен Государственной премии СССР.