1861年、江戸（東京）で上野国高崎藩士の長男として生まれます。幼い頃から武士としての厳格な教育を受け、英語や漢学を熱心に学んで育ちました。この武士の精神（武士道）が、彼の生涯の思想の絶対的な土台となります。
1877年、新設されたばかりの札幌農学校（現在の北海道大学）の第2期生として入学します。そこで第1期生たちに強い影響を与えていたクラーク博士の教えに触れ、同期の新渡戸稲造らと共にキリスト教の洗礼を受けました。
卒業後に水産関係の仕事に就きますが、結婚の失敗など人間関係の悩みから逃れるようにアメリカへ留学。名門アマースト大学などで学びますが、キリスト教国であるはずのアメリカ社会の偽善や人種差別に直面し、深い絶望を味わいます。
1891年、第一高等中学校（のちの一高）の教員時代に、教育勅語への最敬礼を「神以外を礼拝することはできない」というキリスト教の信仰上の理由から躊躇しました。これが「不敬事件」として社会的な大バッシングを引き起こします。
不敬事件によって教職を追放され、極貧生活の中で妻も病死するという地獄を経験します。しかし、この絶望の中で書き上げた『基督信徒のなぐさめ』や『求安録』が多くの読者の心を打ち、文筆家としての道を力強く切り拓くことになりました。
1894年、欧米人に対して「日本にもこれほど素晴らしい精神を持った人物がいる！」と伝えるため、西郷隆盛や二宮尊徳ら5人を英語で紹介した名著『代表的日本人（Representative Men of Japan）』を出版し、国際的な評価を得ました。
牧師がいて、立派な建物がある「教会」という制度に疑問を抱きます。「聖書と神への信仰さえあれば、立派な建物や組織がなくても誰でもキリストに繋がれる」という日本独自の画期的な信仰スタイル「無教会主義」を提唱しました。
日露戦争が迫る中、彼が記者を務めていた人気新聞『萬朝報（よろずちょうほう）』が戦争賛成の立場に変わると、「戦争は絶対的な悪である」というキリスト教の立場から真っ向から反対（非戦論）し、幸徳秋水らと共に毅然と退社しました。
彼が自宅で開いた聖書の研究会には、東京帝国大学の学生など、のちに日本の政治や学問を背負って立つ超優秀な若者たち（矢内原忠雄や南原繁など）がこぞって参加し、彼の熱きヒューマニズムと平和への精神の薫陶を受けました。
1930年に69歳でこの世を去るまで、聖書の研究と平和への祈りを捧げ続けました。彼の墓碑には彼自身が遺した「I for Japan, Japan for the World...（私は日本のため、日本は世界のため…）」という言葉が刻まれ、その不屈の精神を今に伝えています。
