1804年、ニューヨーク州で誕生。陶磁器などを扱う貿易商人として成功を収める一方で、教育にも非常に熱心でした。なんと現在の「ニューヨーク市立大学（CCNY）」を創設し、貧しい労働者の子供たちに無償の高等教育を提供するなど、素晴らしい社会貢献を果たしています。
母の死をきっかけに、40代半ばで東洋の貿易を志してアジアへ旅立ちます。清（中国）やインドなどを巡る中で「まだ鎖国している日本を開国させ、自分がその歴史的偉業を成し遂げたい！」という強い野心を抱き、アメリカ政府へ猛烈にアピールして初代駐日総領事の座を勝ち取りました。
1856年、通訳のオランダ系アメリカ人、ヘンリー・ヒュースケンらと共に伊豆の下田（静岡県）に到着！玉泉寺（ぎょくせんじ）に日本で初めてのアメリカ領事館を開設し、境内に誇らしげに星条旗（アメリカ国旗）を掲げました。ここから彼の長く孤独な闘いが始まります。
黒船の武力で日本を脅したペリーとは異なり、彼には軍隊という後ろ盾がありませんでした。幕府の役人たちはあの手この手で交渉を引き延ばし、スパイを送り込むなどの嫌がらせを行いますが、ハリスは決して激昂せず、論理的かつ粘り強い「忍耐の外交」で幕府と向き合い続けました。
体調を崩した際、「牛乳」を飲むことを希望しますが、当時の日本に牛乳を飲む習慣はありませんでした。苦労の末に牛乳を手に入れ、さらに境内で牛を屠殺して牛肉を食べたとされており、玉泉寺には「牛乳の碑」や「牛屠殺の跡」という記念碑が現在も残されています。
彼が体調を崩した際、幕府が看病のために派遣したとされる芸者「お吉（唐人お吉）」の伝説が有名です。「外国人の妾になった」と差別され悲惨な最期を遂げたとされる物語ですが、実際のお吉がハリスのもとで働いたのはわずか3日間だけであり、多くは後世の創作（フィクション）だと言われています。
1857年、ついに江戸城への登城が許されます。日本の伝統である「平伏（土下座）」を拒否し、立ったまま第13代将軍・徳川家定に謁見するという歴史的瞬間を迎えました！家定も堂々とした態度でハリスの挨拶に応え、両国の正式な外交関係がスタートしました。
条約交渉では、当時の中国（清）がイギリスやフランスと戦ってボロボロになっていた「アロー戦争」の情報を巧みに提示。「イギリスが軍艦で押し寄せる前に、平和的なアメリカと条約を結んだ方が絶対にお得ですよ！」と説得し、幕府の心を動かすことに成功します。
1858年、老中の堀田正睦や交渉役の井上清直らと激しい議論を重ね、ついに「日米修好通商条約」の調印にこぎ着けました。関税自主権がないなどの不平等条約ではありましたが、武力を一切使わずに日本の「自由貿易」の扉をこじ開けた彼の外交手腕は、世界的に高く評価されています。
1861年に病気を理由に公使を辞任し、アメリカへ帰国しました。その後は表舞台に出ることなく静かな余生を送りましたが、日本での思い出を生涯大切にし、日本に関する書物を読み耽っていたと伝えられています。1878年、73歳で波乱に満ちた生涯を静かに閉じました。
