Родился в белорусско-еврейской семье Ивана Карповича Алфёрова и Анны Владимировны Розенблюм. Отец будущего учёного родился в Чашниках, мать происходила из местечка Крайск (ныне Логойский район Минской области Белоруссии). Имя получил в честь Жана Жореса. Довоенные годы провёл в Сталинграде, Новосибирске, Барнауле и Сясьстрое.
Во время Великой Отечественной войны семья Алфёровых переехала в Туринск (Свердловская область), где его отец работал директором целлюлозно-бумажного завода, и после её окончания в разрушенный войной Минск. Старший брат — Маркс Иванович Алфёров (1924—1944) — погиб на фронте. Окончил с золотой медалью среднюю школу № 42 в Минске и по совету учителя физики Якова Борисовича Мельцерзона поехал поступать в Ленинград, в ЛЭТИ. В 1952 году окончил факультет электронной техники Ленинградского электротехнического института имени В. И. Ульянова (ЛЭТИ), куда был принят без экзаменов.
С 1953 года работал в Физико-техническом институте имени А. Ф. Иоффе, где был младшим научным сотрудником в лаборатории В. М. Тучкевича и принимал участие в разработке первых отечественных транзисторов и силовых германиевых приборов[4]. В 1970 году Алфёров защитил диссертацию, обобщив новый этап исследований гетеропереходов в полупроводниках, и получил степень доктора физико-математических наук. В 1972 году Алфёров стал профессором, а через год — заведующим базовой кафедрой оптоэлектроники ЛЭТИ. С начала 1990-х годов Алфёров занимался исследованием свойств наноструктур пониженной размерности: квантовых проволок и квантовых точек. С 1987 по май 2003 года — директор ФТИ им. А. Ф. Иоффе, с мая 2003 по июль 2006 года — научный руководитель. Кандидат физ.-мат. наук (1961), доктор физико-математических наук (1970). Профессор ЛЭТИ (1972).
В 1990—1991 годах — вице-президент АН СССР, председатель Президиума Ленинградского научного центра. С 2003 года — председатель Научно-образовательного комплекса «Санкт-Петербургский физико-технический научно-образовательный центр» РАН. Академик АН СССР (1979), затем РАН, почётный академик Российской академии образования. Вице-президент РАН, председатель президиума Санкт-Петербургского научного центра РАН. Главный редактор «Писем в Журнал технической физики».
В 2008 году принял участие в подготовке издания второй книги из серии «Автограф века». Был главным редактором журнала «Физика и техника полупроводников», членом редакционной коллегии журнала «Поверхность: Физика, химия, механика», членом редакционной коллегии журнала «Наука и жизнь».
5 апреля 2010 года объявлено о том, что Алфёров назначен научным руководителем инновационного центра в Сколково.
Автор более пятисот научных работ, трёх монографий и пятидесяти изобретений.