Am 12. Mai 1488 lief Bartholomeus Diaz als erster europäischer Segler in die Bahia de Lagoa - die heutige Algoa Bay - ein. Der nächste portugiesische Entdecker, der berühmte Vasco da Gama, segelte 1497 vorbei; ein holländisches Schiff dagegen legte 1690 an. Aber noch bis 1752 war der kleine Ort wenig mehr als ein Zwischenstop zur Aufnahme von Frischwasser.

Erst in jenem Jahr errichteten die Holländer eine Baake mit den Insignien der Holländisch Ostindischen Kompanie. Die Bay war damit holländischer Besitz.
1799 rückten die Engländer mit 350 Mann und einem Offizier ein und errichteten Fort Frederick, benannt nach ihrem Kommandeur, dem Grafen von York.
Aber erst 1820, als 4000 britische Siedler anlandeten um Besitz in Anspruch zu nehmen, den ihnen die englische Regierung versprochen hatte, erwachte die Stadt zum Leben. Am 6. Juni 1820 benannte Sir Rufane Donkin den Ort nach seiner zwei Jahre zuvor in Indien im Alter von nur 28 Jahren verstorbenen Frau Elizabeth; das obige Bild zeigt das Donkin-Denkmal.

1825 wurde der Hafen offiziell für den Überseehandel eröffnet. Bis Anfang des 20. Jahrhunderts waren Wollwäschereien, Leder- und Konservenfabriken die wichtigsten Industrien. Dann kam die Automobilindustrie - Ford und General Motors fabrizierten hier schon 1925 alle in Südafrika vertriebenen Fahrzeuge. 1933 hatte die Stadt 220 Fabriken, in denen 6000 Menschen beschäftigt waren.
Auch heute ist die Automobilindustrie in Port Elizabeth und dem benachbarten Uitenhage von besonderer Bedeutung.
