Il était un père apostolique, c'est-à-dire qu'il avait été l'élève de l'un des premiers disciples du Christ, et il était connu d'autres personnalités importantes de l'Église chrétienne primitive, notamment Irénée, qui l'avait connu dans sa jeunesse, et Ignace d'Antioche, son collègue dans l'Église catholique orientale.

Parmi les œuvres qui lui ont survécu, on trouve une lettre aux Philippiens, dans laquelle il cite l'apôtre Paul, et dont certaines citations figurent dans les livres du Nouveau Testament et dans les Apocryphes. La lettre de Polycarpe a été utilisée par les érudits pour identifier Paul comme l'auteur probable de ces livres.

Polycarpe a été jugé et exécuté comme un criminel par l'empire romain en 155 de notre ère, devenant ainsi le 12e martyr chrétien de Smyrne ; la documentation de son martyre est un document important dans l'histoire de l'Église chrétienne.