Poul Pedersen startede med at spille fodbold som 6-årig i AIA, som dengang var beliggende centralt i Aarhus. Pedersens storhedstid, hvor han opnåede i alt 389 kampe for klubben, resulterede i, at AIA spillede i den bedste danske fodboldrække fra 1955-58, samt i 1961. Han spillede i klubben hele sin karriere, og stoppede først d. 21. november 1965, hvor AIA mødte Køge Boldklub på Aarhus Stadions lille bane.Pedersen fik debut på landsholdet i 1953 i en kamp mod Sverige. Dengang havde AIA først lige sikret sig oprykning fra 3. division, og det var højst usædvanligt, at der blev udtaget spillere fra den tredje bedste række. Med sin kamp nummer 48 overtog han i 1961 rekorden for flest spillede kampe på det danske landshold, da han overhalede Pauli Jørgensen. Han var også den første danske spiller, som fik 50 kampe på landsholdet – en bedrift som han opnåede i sin afskedskamp mod Finland i september 1964. Han scorede i alt 17 mål på landsholdet og var med til at vinde OL-sølv i 1960. Sideløbende med fodboldkarrieren uddannede Pedersen sig til ingeniør, og han startede efter karrieren sit eget entreprenørfirma. Fodbolden blev dog først endegyldigt lagt på hylden i 2007.

Poul Pedersen blev, som den første aarhusianer, optaget i Fodboldens Hall of Fame i 2014.