Актер стал популярен после выхода на экраны киноленты «Овод». Мужчина никогда не рассказывал представителям СМИ о своих романах, поэтому вокруг его имени ходило немало слухов. Особенно много сплетен было, когда Харитонов был молодым.
У него было много поклонниц, и красивые актрисы российского кино обращали на актера внимание. Говорили, что Андрей встречался с Анастасией Вертинской. Но мужчина эти домыслы опровергал. Он утверждал, что с актрисой у него исключительно дружеские отношения.
В течение 20 лет жизнь Харитонова была связана с женщиной по имени Ольга. Она всегда преклонялась перед творчеством Андрея. Женщина не связана с миром кино и театра. Она работает в области компьютерных технологий.
Артист говорил, что с Ольгой ему в жизни повезло. С ней он чувствовал себя счастливым человеком. Так как мужчина любил тишину, он приобрел вторую квартиру, чтобы иногда проводить время в одиночестве. Жена относилась к этому с пониманием. Детей у супругов не было.
В июне 2019 года Харитонов умер. Ему было 59 лет. Для поклонников актера новость о его смерти стала ударом. Зимой этого года в сети появлялась информация о том, что Харитонову было сделано 6 операций, но победить рак желудка не удалось.