Александр Михайлович Сергеев родился 2 августа 1955 года в Бутурлино (Горьковская область). В 1977 году окончил радиофизический факультет Горьковского университета.
С 1977 года работает в Институте прикладной физики РАН на должностях сначала стажёра-исследователя, затем младшего (с 1979 года) и старшего (с 1985 года) научного сотрудника. В 1982 году под руководством А. Г. Литвака защитил кандидатскую диссертацию по теме «Самовоздействие и трансформация интенсивных электромагнитных волн в магнитоактивной плазме».
В 1991 году стал заведующим лабораторией сверхбыстрых явлений. С 1994 года — заведующий отделом сверхбыстрых явлений. В 2000 году защитил докторскую диссертацию по теме «Нелинейные волновые процессы при генерации сверхкоротких оптических импульсов и взаимодействии сильных оптических полей с веществом».
В 2001 году был избран директором Отделения нелинейной динамики и оптики и становится заместителем директора ИПФ РАН.
22 мая 2003 года избран членом-корреспондентом РАН по Отделению ядерной физики (секция общей физики и астрономии).
В 2012 году ушёл с должности директора Отделения и стал первым заместителем директора Института по научной работе.
В июле 2013 года Сергеев заявил об отказе вступить в новую «РАН», учреждаемую предлагаемым законом, в знак протеста против планов правительства по реформе Российской академии наук (РАН).
28 октября 2016 года был избран действительным членом РАН.
26 сентября 2017 года избран президентом Российской академии наук.