Народився 2 (13) лютого 1769 року у Москві, у ній бідного армійського офіцера А. П. Крилова. Під час Пугачовського повстання батько Крилова служив армійським капітаном у Яїцькій фортеці.
Андрій Крилов, за походженням «З обер-офіцерських дітей», був записаний на військову службу в Оренбурзькому гарнізонному батальйоні в 1752 році, з цього моменту вся його служба проходила в частинах і фортець Оренбурзького корпусу. У 1759 році був здійснений у сержанти, в 1764 – в прапорщики, в 1766 – в поручики.
Іван Андрійович Крилов народився Москві 1769 року, але ще дитиною залишив Первопрестольную. За часів Пугачовщини його батько, Андрій Прохорович Криловслужив комендантом Яїцької фортеці.