1780年、常陸国（現在の茨城県つくばみらい市）の農民の家に生まれました。幼い頃から頭が良く、特に算学（数学）において天才的な才能を発揮します。村の治水工事を手伝っていた時、たまたま視察に来ていた幕府の役人（伊奈忠尊）にそのズバ抜けた才能を見出され、彼に引き取られて幕府で働くことになりました。実力で人生を切り開く第一歩です。
幕府の役人として蝦夷地（北海道）の開拓や測量に関わるようになった林蔵は、そこで日本地図を作っていた偉大な測量家・伊能忠敬と出会います。林蔵は忠敬を師匠と仰いで最新の測量技術や天文学を徹底的に学び、忠敬もまた、若くて体力があり、非常に優秀な林蔵を愛弟子として可愛がりました。
当時、ロシアが日本へ少しずつ近づいており、幕府は北方の地理を正確に把握する必要がありました。しかし、北海道のさらに北にある「樺太」が、ユーラシア大陸と繋がっている半島なのか、それとも海で隔てられた島なのか、世界中の誰も知りませんでした。1808年、林蔵は先輩の松田伝十郎とともに、幕府の命令で未知の樺太探検へと出発します。
現地のアイヌの人々の協力を得て、小さな舟で極寒の海を北上します。波は荒く、食糧も尽きかける過酷な旅でした。ついに樺太の北西岸まで到達した二人は、そこで海の流れや地形を確認し、「樺太は大陸と繋がっていない。海で隔てられた『島』である！」という決定的な証拠を発見します。歴史的な大発見の瞬間でした。
伝十郎が帰還した後も、林蔵の探検魂は燃え尽きません。「本当に大陸と繋がっていないか、自分の目で大陸まで行って確かめたい！」と、翌1809年、なんと単身で海を渡り、ユーラシア大陸の黒竜江（アムール川）の河口付近まで潜入するという命懸けの大冒険を敢行しました！当時の日本人としては信じられないほどの行動力です。
大陸に渡った林蔵は、そこで清（中国）の役人や、「山丹人（さんたんじん）」と呼ばれる現地の人々と接触します。彼らがアイヌの人々を通じて日本と毛皮や絹織物の貿易（山丹交易）を行っている実態を詳しく調査し、幕府に報告しました。この報告は、幕府が北方地域の安全保障を考える上で超一級の重要な情報となりました。
林蔵が作成した正確な樺太の地図は、のちに長崎に来ていたオランダ商館の医師・シーボルトの手に渡り、ヨーロッパへと紹介されました。これによって彼の発見は世界中で認められ、樺太と大陸の間の海は「間宮海峡（マミヤノセト／タタール海峡）」と名付けられました。世界地図に日本人の名前が地形として刻まれている、非常に稀で名誉なケースです。
探検家としての任務を終えた後、林蔵は幕府の「隠密（スパイ）」としての裏の顔を持つようになります。持ち前の体力と変装技術、そして測量技術を活かして、怪しい人物の身辺調査や、各藩が密貿易をしていないかなどを全国各地を旅しながら秘密裏に調査し、幕府の老中などに直接報告する御庭番のような過酷な任務を遂行しました。
1828年、シーボルトが国外へ持ち出すことが禁止されていた「日本地図（伊能忠敬の地図）」をこっそり持ち帰ろうとした「シーボルト事件」が起こります。林蔵が幕府にこの事実を密告したと言われており（諸説あり）、多くの役人や学者が処罰されたため、世間からは「仲間を売った冷酷なスパイ」として激しい非難を浴びてしまいました。
シーボルト事件の影響もあり、晩年の林蔵は孤独でした。生涯結婚することもなく（蝦夷地にアイヌの妻がいたという説もあります）、1844年に江戸でひっそりと65歳の生涯を閉じました。世間からは誤解され、孤独な最期でしたが、彼が命懸けで作った地図や記録は、日本の地理学と北方領土の防衛に計り知れない貢献を残したのです。
