1039年、河内源氏の源頼義の長男として誕生。7歳の時に京都の石清水八幡宮で元服（成人式）を行ったことから「八幡太郎（はちまんたろう）」と名乗るようになりました。この名前は最強の武神の加護を受けた武将として、敵から恐れられることになります。
陸奥国（東北地方）で強大な力を持っていた安倍氏が反乱を起こすと、父・頼義と共に討伐に向かいます（前九年の役）。12年にも及ぶ泥沼の激戦の中で、若き義家は弓矢の達人として凄まじい活躍を見せ、武名を天下に轟かせました。
学者・大江匡房から兵法を学んだ有名なエピソードがあります。後三年の役の行軍中、空を飛ぶ雁（がん）の群れの列が乱れたのを見て、匡房の教え通り「伏兵が隠れている！」と見破り、敵の奇襲を未然に防いだという知将としての伝説です。
和歌にも優れた教養人でした。奥州へ向かう途中、勿来関（なこそのせき：福島県）で桜が散るのを見て「吹く風を なこその関と 思へども 道もせに散る 山桜かな」という美しくも哀愁漂う名歌を詠み、文武両道の将として讃えられました。
1083年、陸奥守として再び東北へ赴任すると、今度は奥州を支配していた清原氏の内紛（後三年の役）に介入します。藤原清衡（のちの奥州藤原氏の祖）に加勢し、難攻不落の金沢柵（かねざわのさく）を兵糧攻めで陥落させて見事に平定しました。
乱を平定したものの、朝廷（白河法皇）は「これは朝廷の命令ではない、義家が勝手にやった私戦だ」として恩賞を一切出しませんでした。すると義家は激怒せず、なんと自分の私財を投げ打って（自腹で）従軍した武士たちに恩賞を与えたのです！
命懸けで戦ったのに国が報いてくれない中、自腹を切ってまで報いてくれた義家の姿に、東国の武士たちは大号泣！「このご恩に一生報いる！」と強固な主従関係が結ばれ、これが鎌倉幕府の「御恩と奉公」のルーツとなりました。
「義家様の家来になれば守ってもらえる」と、全国の農民や武士たちが自分の土地（荘園）を次々と義家に寄進（プレゼント）するようになりました。これにより、義家は朝廷を凌ぐほどの巨大な経済力と武力を持つことになります。
その凄まじい人気と権力集中に、絶頂期にあった白河法皇すらも「天下第一の武勇の士」と恐れ、警戒を強めました。朝廷からの牽制や、息子の義親が反乱を起こすなどの不運が重なり、晩年は不遇の中で68歳でこの世を去りました。
彼自身は朝廷の壁を越えて武士の政権を創ることはできませんでしたが、「武士のトップ＝八幡太郎義家（河内源氏）」という絶対的なブランドを確立しました。この血脈から、のちに鎌倉幕府を開く源頼朝や、室町幕府を開く足利尊氏が誕生することになります。
