В 1947 году, в Новосибирске Евгений познакомился с девушкой, которую звали Лидия. Молодого человека поразил серебристый голос певицы, которая распевалась за кулисами театра.
Сначала Матвеев не произвел на девушку впечатление. Он тогда был худым и нескладным молодым человеком. Ему пришлось приложить немало усилий, чтобы завоевать сердце красавицы.
Молодые люди встречались, и их отношения были непростыми. Они часто ссорились, но решили создать семью. Евгений с женой переехали жить в столицу.
После свадьбы молодая семья жила в гостинице. Позже Матвеевы стали жить в коммуналке. Лидия родила сына Андрея. Женщина очень любила музыку. Она обучалась на вокальном и хормейстерском факультетах.
Лидия пела в хоре и ей пришлось стать «добытчицей» в семье, пока муж строил свою карьеру. Матвеева взяли в московский драматический театр. В то время у супругов уже было двое детей (Андрей и Светлана). Разница в возрасте между детьми была 10 лет.
Руководство театра, узнав о проблемах актера с жильем, пообещало помочь. Матвееву выделили отдельную квартиру. Прожили супруги вместе 56 лет. Лидия всегда и во всем поддерживала любимого мужа, и была его музой. У супругов было трое внуков. Евгений Семенович умер на 82 году жизни от рака легких.