В старинных каталогах библиотеки Академии наук сохранились собственноручные письма Ганнибала и списки книг его личной библиотеки. Большая часть ее — книги по математике, военным наукам, философии, истории; художественная литература. Всего в библиотеке насчитывалось 347 книжных наименований.
Ганнибалы — потомки знаменитого арапа Петра Великого — были люди горячей африканской крови, и многие из них по старому помещичьему праву прижили от своих крепостных крестьян и дворовых людей детей. Сын Ибрагима Ганнибала Петр Абрамович завел у себя в Петровском целый гарем из крепостных дев, присвоив себе право первой ночи. Многие из этих бесправных потомков, тяготясь своим «подлым сословием», всячески добивались у правительства носить фамилию «Ганнибал».