行政書士の前身は、1872年（明治5年）に制定された太政官達「司法職務定制」に基づく代書人制度です。この代書人制度では、市町村役場や警察署などに提出する書類の作成を業とする者が行政代書人として活動していました。明治30年代後半には、警視庁令や各府県令によって「代書人取締規則」が制定されました。1920年（大正9年）11月、内務省によって、これらの監督規定を統一するために「代書人規則」が定められました。
　
戦後、代書人規則は「日本国憲法施行の際現に効力を有する命令の規定の効力等に関する法律」によって、1947年（昭和22年）12月に失効しました。その後、住民の便益を考慮した法制化を求める社会の動きを受け、1951年（昭和26年）2月10日に行政書士の制度を定め、その業務の適正を図ることにより、行政に関する手続の円滑な実施を促進し、国民の利便に資することを目的とした「行政書士法」が成立しました。同月22日には法律第4号として公布され、3月1日に施行されました。
　
このような経緯を経て行政書士制度は発足し、現在に至るまで数次の法改正を経てきました。