A rómaiak előtti korból kevés lelet maradt fenn. Londont a rómaiak alapították, mint Britannia provincia fővárosát, miután Kr. u. 43-ban Claudius császár a mai Anglia legnagyobb részét meghódította. Londinium-nak nevezték el. A név nem latin, hanem kelta eredetű, feltehetően a kelta Londinos személynévből ered. Egy másik elmélet szerint a név egy a kelta kor előtti (őseurópai) Plowonida szóból származik, ami körülbelül annyit jelent, hogy „település a széles folyó partján”.

A Római Birodalom bukása után Londont elhagyták a rómaiak. A 7. században Egy Lundenwic nevű szász város épült nem messze a mai Aldwychtől nyugatra. A régi római város a 9. században vagy a 10. század elején népesült be újra.

Westminster egykor önálló város volt, a középkor óta az angol királyi udvar székhelye. Végül a két város egybeépült, így jött létre a mai London alapja, bár ekkor még nem volt főváros (a hampshire-i Winchester volt az a 12. századig.)

London növekedésnek indult, és a következő pár évszázadban magába olvasztotta a környező kisvárosokat és falvakat. A 16. századtól a 20. század elejéig a Brit Birodalom fővárosa volt.

1666. szeptember 2-án kezdődött el a nagy londoni tűzvész, amely a belváros nagy részét elpusztította. A tűz egy pék faházából indult el, a következő három nap folyamán több mint 13 000 ház pusztult el, köztük a St Paul Church. A város tíz év alatt újraépült. A 18. században a fejlődés felgyorsult. A 19. század elejére a világ legnagyobb városa lett.

Az önkormányzat igyekezett teljesíteni a gyors növekedés okozta követelményeket. 1855-ben alapították a Metropolitan Board of Works-t arra a célra, hogy biztosítsa a megfelelő infrastruktúrát a gyorsan növekvő városnak. 1889-ben ehelyett hozták létre London megyét, amit London megye tanácsa irányított – az első szervezet, mely egész London közigazgatását irányította.

A 20. század elején a londoniak szénnel fűtöttek, ami hatalmas füstmennyiséget okozott. Az éghajlati körülményekkel együtt ez gyakran szmogot okozott, a jól ismert „londoni köd”-öt. 1956-ban törvényt hoztak a tiszta levegőért, miután 1952. december 5. és 9. között öt napig szmog nehezedett a városra, több mint 4000 ember halálát okozva. A törvény értelmében füstmentes zónákat alakítottak ki, ahol füstöt nem okozó fűtőanyagot kell használni.

London arculatában a legnagyobb változást az elmúlt 100 évben a német bombázások okozták a II. világháború idején. A bombázás több mint 30 000 embert ölt meg, és rengeteg épületet elpusztított. Az elpusztult részek az 1950-es, 60-as és 70-es években többféle stílusban épültek újjá, ezért Londonra jellemző, hogy arculata építészetileg nem egységes.

1965-ben London megye tanácsát felváltotta Nagy-London tanácsa (Greater London Council, GLC). Több újabb település is a város része lett, a jelenlegi kerületek közül 20. A GLC-t 1986-ban eltörölték, mert összeütközésbe került a Thatcher-kormánnyal, és hatásköre átkerült az egyes kerületekhez. 2000-ben újra központosították a város feletti hatalmat, és polgármestert választottak Ken Livingstone személyében. 2008. május 4-e óta Boris Johnson Greater London polgármestere.

Az 1997-es tűzszünetig London gyakran az IRA egyik célpontja volt az észak-írországi területek feletti egyet nem értés miatt.

2005. július 7-én Londont terrortámadás érte, alig 24 órával azután, hogy London megkapta a 2012-es olimpia rendezésének jogát.

Ma Nagy-London a belvárosból és 32 kerületből (borough; köztük Westminster városa) áll. A legjelentősebb központ Westminster, itt található a West End, London legfontosabb kulturális, szórakoztatóipari és bevásárlónegyede, itt található a pénzügyi intézmények kivételével a legtöbb, a városban található cég székhelye és az Egyesült Királyság kormányzati épületei. A londoni City a világ bankjainak központja és Európa fő üzleti központja. Itt található Európa 500 legnagyobb cége közül több mint száznak a székhelye. A londoni tőzsde nagyobb forgalmat bonyolít, mint New Yorké és Tokióé együtt. A City hétköznapokon rendkívül forgalmas, de hétvégeken meglehetősen csendes, mert lakónegyedek nemigen találhatóak itt.

London nagyszámú látogatót és turistát vonz. A turistalátványosságok nagyrészt a város középső részén vannak (Central London), a Cityben, a West Enden, Westminsterben (Westminsteri apátság, Buckingham-palota, Kensington és Chelsea kerület (Tudományos Múzeum, Victoria és Albert Múzeum) és a Hyde Park. Fontos turistalátványosságnak számítanak még a Szent Pál-katedrális, a Nemzeti Galéria, a Globe Színház, a Tate Galéria, a London Bridge, a Tower híd és a Tower, a London Eye, a British Museum Bloomsburyben és sok más múzeum és látványosság.