Şi-a început cariera în 1857 în calitate de contabil în cadrul firmei Duncan, Sherman & Co. din New York, reprezentanţa americană a firmei londoneze George Peabody & Co. Patru ani mai târziu, a devenit agent în cadrul firmei din New York a tatălui său, Junius Chase. Între 1864 şi 1871 a fost membru al firmei Dabney, Morgan & Co., iar apoi partener în cadrul Drexel, Morgan & Co., care a devenit în scurt timp sursa predominantă pentru finanţarea guvernului american.

Firma a fost reorganizată drept J.P. Morgan and Co. în 1895 şi, datorită abilităţii lui Morgan, a devenit una dintre cele mai puternice bănci din lume. Datorită legăturilor cu firma englezească Peabody şi a conexiunilor cu lumea financiară londoneză, Morgan a reuşit să asigure capitalul pentru finanţarea marilor corporaţii americane cu ajutorul bancherilor britanici.

A început reorganizarea companiilor constructoare de căi ferate în 1885, odată cu stabilirea unei înţelegeri între două dintre cele mai mari astfel de companii, New York Central Railroad şi Pennsylvania Railroad. În procesul de restructurare a acestora, Morgan a devenit membru al consiliului director al mai multor astfel de companii. Între 1885 şi 1888, şi-a extins influenţa asupra liniilor ferate din Pennsylvania şi Ohio, iar după panica financiară din 1893 a fost solicitat pentru reabilitarea mai multor companii feroviare importante din ţară.

A câştigat, în acelaşi timp, control asupra acţiunilor de restructurare ale acestor companii, devenind unul dintre cei mai puternici magnaţi din industria feroviară: controla, în 1902, 8.000 de kilometri din liniile ferate. Apoi Morgan a alcătuit un sindicat care a realimentat rezerva de aur epuizată a guvernului american cu 62 de milioane de dolari în aur şi a început să finanţeze mai mulţi din giganţii industriali americani.

În 1891, a participat la fuziunea dintre Edison General Electric şi Thomson-Houston Electric Company, realizând astfel General Electric, liderul pieţei de producţie a echipamentului electric. În 1898 a finanţat fondarea Companiei Federale de Oţel, iar în 1901 a participat la fuziunea dintre aceasta şi gigantul Carnegie Steel Company şi alte câteva companii producătoare de oţel, formând United States Steel Corporation, prima corporaţie de miliarde de dolari din lume. În 1902, Morgan a reunit mai multe companii producătoare de echipament agricol sub numele International Harvester Company.

În acelaşi an, a organizat, cu mai puţin succes, International Mercantile Marine (IMM), o aglomerare a majorităţii liniilor de vapoare transatlantice, inclusiv White Star, compania care deţinea Titanic. În 1912, Morgan avea locuri rezervate pentru prima călătorie a Titanicului, dar a renunţat din cauza unei boli. J.P. Morgan este una dintre cele mai importante figuri ale capitalismului american, statut păstrat chiar şi după moartea lui din 1913.