Анатолий Сердюков родился 8 января 1962 года в Краснодарском крае. Окончил Ленинградский институт советской торговли, юридический факультет Санкт-Петербургского государственного университета (СПбГУ). До 1991 года работал на предприятии "Ленмебельторг". С 1991 года - генеральный директор ОАО "Санкт-Петербургская промышленная компания".
С октября 2000 года - заместитель руководителя Межрайонной инспекции Министерства РФ по налогам и сборам (МНС РФ) по работе с крупнейшими налогоплательщиками Санкт-Петербурга.
С июня 2001 года - заместитель руководителя, руководитель Управления МНС РФ по Санкт-Петербургу, с февраля 2004 года - руководитель Управления МНС РФ по Москве.
С марта по июль 2004 года - заместитель министра РФ по налогам и сборам - и.о. министра РФ по налогам и сборам, с июля 2004 года - руководитель ФНС Министерства финансов РФ.