Литературная деятельность Храповицкого началась в 1762 году, когда был напечатан его перевод с французского «Похождения Неоптолема, сына Ахиллесова». Ему также принадлежат напечатанные в «Аонидах»: идиллия «Пленяся Делией», «Жизнь человеческая», «Восторг» и несколько басен в подражание Лафонтену. Кроме того, он написал трагедию "Идамант" и оперу "Песнолюбие". Храповицкий стал и своеобразным «соавтором» Екатерины II, которая была несамостоятельна в своих сочинениях: писал стихи для ее комических опер на сюжеты сказок и исторических драм. Державин, Дмитриев, Хвостов и Княжнин высоко ценили ум и литературные способности Храповицкого.
Но не служебная карьера и не литературная деятельность сохранили навсегда память о Храповицкого. Он замечателен как автор драгоценных "Памятных записок", которые первоначально с большими пропусками были напечатаны в "Отечественных записках" Свиньина, а в 1901 году вышли отдельным изданием в "Русском Архиве" под названием «Дневник». «Дневник» охватывает период времени с 18 января 1782 года, когда Храповицкий впервые был представлен императрице, до 7 марта 1793 года. Его содержание составляют заметки автора о том, что говорила и делала императрица. О себе Храповицкий упоминает крайне редко, о других лицах — лишь тогда, когда информация о них так или иначе касается Екатерины II.
Литературно «Дневник» остался совершенно необработанным: попадаются отрывочные и часто грамматически незаконченные фразы, тем не менее, от него "веет необыкновенной жизненной правдой и замечательной наблюдательностью". Благодаря запискам Храповицкого мы имеем представление о настроении императрицы во время шведской войны, ее отношении к французской революции и жизни Екатерины I в последний период её царствования.