Глеб начал заниматься в СДЮШОР минского «Динамо». С 1999 года он играл в борисовском БАТЭ, оттуда в 2000 году перешел в немецкий «Штутгарт».
В 2005 году Глеб подписал контракт с лондонским «Арсеналом», а спустя 3 года перебрался в «Барселону». В составе испанского клуба Глеб стал победителем Лиги чемпионов.
В разные годы футболист выступал за «Бирмингем Сити», «Вольфсбург», «Генчлербирлиги», «Ислочь» и т. д.
В составе национальной сборной Беларуси Александр Глеб провел 80 матчей, забил 6 мячей.