皇甫嵩是安定郡朝那县(今宁夏彭阳)人。是东汉末期名将，原雁门太守皇甫节之子、原度辽将军皇甫规之侄。出身于将门世家，最初被举为孝廉、茂才。汉灵帝时被征为侍郎，后迁北地太守。黄巾起义爆发后，皇甫嵩与吕强上疏请求解除党禁，被授为左中郎将，与朱儁率军镇压黄巾军。战后以功拜左车骑将军、领冀州牧，封槐里侯。皇甫嵩到任后，上奏请求减免冀州百姓一年的租税，用来赡养饥民，灵帝听从了他的建议。史载百姓作歌说：“天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。”

黄巾起义的同年，湟中（今甘肃湟原）胡人北宫伯玉和先零羌起事，共拥边章、韩遂为帅，攻杀护羌校尉泠徵、金城太守陈懿。

中平二年（185年），北宫伯玉等人侵入三辅地区，朝廷诏令皇甫嵩回镇长安，保卫皇家园陵。

当初皇甫嵩征讨张角时，途经邺地，发现中常侍赵忠住宅超过了规定，便上奏皇帝予以没收。另外，中常侍张让向他索要五千万钱，他不肯给。

于是赵忠和张让联起手来，劾奏皇甫嵩在长安连战无功，耗费钱粮。灵帝刘宏听信了谗言，召皇甫嵩回洛阳，收回他的左车骑将军印绶，削夺封户六千，改封都乡侯，食邑二千户。