1793年、三河国田原藩（愛知県）の江戸にあるお屋敷で生まれました。しかし当時の田原藩は非常に貧しく、崋山の家は借金だらけ。なんと弟や妹たちを養子や奉公に出さなければならないほどの極貧生活の中で、泥水をすするような苦労を重ねて育ちました。
「なんとかしてお金を稼ぎ、家族を食わせなければ！」と決意した崋山は、得意だった絵を売って生活費を稼ぐようになります。やがて有名な画家・谷文晁（たに ぶんちょう）の弟子となり、並外れた努力によってその才能を一気に開花させていきました。
彼の絵はただ上手いだけではありません。西洋の遠近法や陰影（光と影）の描き方を熱心に学び、日本の伝統的な絵画と見事に融合させました。彼が描いた蘭学者・鷹見泉石（たかみ せんせき）の肖像画は、そのあまりのリアルさと内面まで描き出す筆致から、現在では国宝に指定されています。
芸術家として大成功する一方で、武士としての仕事も超一流でした。藩主・三宅康直からの厚い信頼を受け、貧しかった田原藩の財政改革や、飢饉への対策を見事に成功させます。その功績が認められ、ついに藩の政治のトップである「家老」にまで大出世を果たしました。
当時、日本の周辺にはロシアやイギリスなどの外国船が頻繁に現れるようになっていました。崋山は「このままでは日本が危ない！」と強い危機感を抱き、絵を売って得たお金で高価なオランダ語の専門書を買い集め、最新の西洋の知識（蘭学）を猛勉強し始めます。
さらに崋山は、身分や年齢に関係なく、優秀な学者や役人たちが自由に意見を交わす「尚歯会（しょうしかい）」という勉強会（サロン）を作りました。ここには、同じく蘭学者の高野長英（たかの ちょうえい）や、代官の江川英龍（えがわ ひでたつ）など、時代を先取りする天才たちが集まりました。
1837年、日本人の漂流民を助けて届けに来たアメリカの商船モリソン号に対し、幕府が「外国船は無条件で大砲で撃ち払え！」というルール（異国船打払令）に従って砲撃する事件が起きました。崋山は「恩知らずで無知な対応だ！」と、幕府の時代遅れな対応に激しい怒りを覚えます。
居ても立っても居られなくなった崋山は、幕府の鎖国政策や間違った外交を厳しく批判する『慎機論（しんきろん）』という本を書き上げました。しかし、これはあくまで自分の考えを整理するため、あるいは仲間内で読むための草稿（メモ）であり、まだ世間には発表していない秘密の原稿でした。
1839年、幕府の保守派（鳥居耀蔵など）が「蘭学者たちは幕府の悪口を言っている！」と難癖をつけ、崋山たちを突然逮捕します（蛮社の獄）。家宅捜索で偶然『慎機論』のメモが見つかってしまい、崋山は「幕府を批判する危険思想の持ち主」として厳しく罰せられ、田原での蟄居（外出禁止）となってしまいました。
故郷での幽閉生活の中、崋山は再び生活のために絵を描いて売っていましたが、これが「反省していない」と幕府に目をつけられてしまいます。「これ以上生き延びて、愛する藩や主君に迷惑をかけるわけにはいかない」と覚悟を決めた崋山は、1841年、家族に遺書を残し、武士としての誇りを胸に自ら腹を切って命を絶ちました。
