1838年、長州藩（現在の山口県萩市）の非常に身分の低い下級武士の家に生まれます。幼い頃から槍術（そうじゅつ）の腕を磨き、吉田松陰が主宰する松下村塾にも通いました。幕末の激動期、高杉晋作が身分を問わずに結成した画期的な軍隊「奇兵隊（きへいたい）」に参加すると、その天才的な軍事の才能が一気に開花します。戊辰戦争（ぼしんせんそう）では、奇兵隊を中心とする新政府軍の指揮官として北越地方などを転戦し、次々と旧幕府軍を打ち破って明治維新の大きな原動力となりました。
明治新政府が誕生すると、大村益次郎や西郷隆盛らの推薦を受けて兵部省（軍隊を管理する役所）に入り、軍制改革のヒントを探るためにヨーロッパ視察へ赴きます。そこで彼が目の当たりにしたのは、プロイセン（現在のドイツ）が誇る圧倒的で強力な近代軍隊の姿でした。「これからの日本を欧米の脅威から守るためには、一部の武士だけでなく、国民全員が兵士となる軍隊が絶対に必要だ！」と強烈に確信し、帰国後は日本の軍隊を根本から作り直すという壮大なプロジェクトに自らの人生を懸けることになります。
暗殺された恩師・大村益次郎の遺志を引き継ぎ、1873年に歴史的な「徴兵令（ちょうへいれい）」を布告します。これは、満20歳になった男子すべてに3年間の兵役の義務を課す「国民皆兵（こくみんかいへい）」の制度でした。武士の特権であった「戦う権利」を一般の農民や町人にも広げた大改革であり、当初は血税一揆（けつぜいいっき）などの激しい反発もありましたが、この制度がのちに世界と戦う近代日本陸軍の絶対的な土台となり、彼は「国軍の父」として歴史にその名を刻むことになります。
1882年、軍人が守るべき道徳や心構えを天皇の言葉として定めた「軍人勅諭（ぐんじんちょくゆ）」の起草を中心となって行い、軍隊の強い精神的支柱を作り上げました。さらに彼は、「軍隊は天皇にのみ直接従うものであり、政治家や政党の干渉を一切受けてはならない」という「統帥権（とうすいけん）の独立」を強く主張し、制度化しました。これにより日本軍は世界有数の強さを誇るようになりますが、のちに軍部が政治のコントロールを離れて暴走してしまう大きな原因（遠因）を作ることにもなりました。
冷徹な軍人としての顔が有名ですが、実は政治家としても超一流の手腕を持っていました。内務大臣に就任すると、近代国家の土台は「地域社会の安定」にあると考え、市制・町村制および府県制・郡制を次々と制定して、現在にまで続く日本の「地方自治制度（ちほうじちせいど）」の基本骨格を完成させます。地域の有力者を村長などに任命して行政を安定させることで、中央集権体制を足元から強固にするという、非常に緻密で見事な政治システムを全国に築き上げた素晴らしい実績です。
1889年、黒田清隆の後を継いで栄えある第3代内閣総理大臣に就任します。彼の最大のミッションは、翌年に開かれた日本初となる「第1回帝国議会」を無事に乗り切ることでした。軍備拡張のための予算を通したい山県に対し、予算削減を求める民党（政党）が激しく対立！窮地に陥った山県は、反対派の議員に対してお金やポストをチラつかせて裏で買収（切り崩し工作）するという強硬な裏技を使って見事に予算案を成立させ、議会政治のスタートという歴史的難局を力技で突破しました。
彼は、国民の意見で方針がコロコロ変わる政党政治（デモクラシー）を極端に嫌っていました。そこで、軍部や官僚、さらには全国の警察組織にいたるまで、自分の息のかかった同郷の長州（山口県）出身者や教え子たちを徹底的に配置し、巨大で強固な派閥「長州閥（ちょうしゅうばつ）」を形成しました。この圧倒的なネットワークにより、総理大臣を辞めた後も政界の最強の黒幕（ドン）として君臨し続け、日本の政治を裏から思いのままにコントロールする絶対的な権力を握り続けました。
1898年に再び第9代総理大臣に就任します。近代日本の命運を分けることになった二つの大戦争においても、彼は軍事のトップとして圧倒的な存在感を放ちました。日清戦争（にっしんせんそう）では、自ら第1軍司令官として最前線の朝鮮半島へ出征して指揮を執り、続く日露戦争（にちろせんそう）では、参謀総長（軍の最高作戦責任者）として日本から全軍の作戦を指導しました。文字通り「国軍の父」として、極東の島国であった日本を世界の一等国へと押し上げた最強の戦争指導者です。
冷酷な権力者というイメージが強いですが、実は芸術や自然を愛する超一流の文化人でもありました。特に庭園造りにかけてはプロ顔負けの天才的な才能を持ち、東京の「椿山荘（ちんざんそう）」や京都の「無鄰菴（むりんあん）」など、自然の風景をそのまま庭に取り込む「借景（しゃっけい）」を活かした美しい名園を自ら設計しました。政治の激しい権力闘争から離れ、せせらぎの音を聞きながら美しい庭園を眺めている時だけが、彼にとって唯一心が安らぐ最高の時間だったのかもしれません。
同じ長州出身でありながら、柔軟に政党政治を取り入れようとした最大のライバル・伊藤博文（いとうひろぶみ）とは生涯にわたって激しく対立しました。伊藤が暗殺された後、山県は「元老（げんろう）」としてさらに権力を強めますが、民主主義を求める世間の声とはかけ離れていき、国民からは激しく嫌われてしまいます。1922年に84歳で亡くなった際、国葬（国主催のお葬式）が行われましたが、参列者はまばらで非常に寂しいものでした。権力の頂点に立ちながらも、最期は孤独を抱えた政治家の末路でした。
