浙江杭州市富阳区人。唐朝宰相，隋朝礼部侍郎许善心之子，东晋名士许询后代。出身高阳许氏，少有文名。隋朝大业年间，考中秀才，授淮阳书佐。其父被杀后，投奔瓦岗军，成为李密记室。李密兵败后，投奔唐朝，补涟州别驾。

秦王李世民听闻其名