Nació aproximadamente en el año 69 o 70 y recibió el bautismo en la infancia. San Ireneo afirma que Policarpo recibió las enseñanzas de los apóstoles, y que éstos lo constituyeron obispo de Esmirna, hacia el año 110. Ignacio reconoció a Policarpo como barón apostólico y le recomendó su rebaño.
Policarpo fue de un temperamento suave y moderado, amigo de la paz y de la mansedumbre, y así debieron ser sus homilías al pueblo. Hay un solo pasaje en su carta en el que muestra dureza: "El que niegue a Jesús, no lo admita en el testimonio de su cruz, y el que tergiverse sus palabras para satisfacer sus concupiscencias, procede del diablo y es el primogénito de Satanás".
Policarpo remitió a la Iglesia de Filipos las cartas de San Ignacio y adjuntó la presente suya, de las cuales decía: "podréis sacar gran provecho, pues están llenas de fe, de paciencia y de toda edificación en nuestro Señor".
Meditó muchas veces el Evangelio, las cartas de San Pablo, de San Juan, de San Pedro, y hasta leyó las de San Clemente de Roma, y con citas de todas ellas entretejió sus recomendaciones a los fieles de Filipos.
En el año 154 viajó a Roma para discutir con el Papa Aniceto sobre la fijación de la fecha de la pascua cristiana; y en la persecución del emperador Decio, fue arrestado y llevado ante el gobernador, y al serle ofrecida la libertad si maldecía a Cristo, contestó: "Ochenta y seis años he servido a Cristo, y Él nada me ha hecho sino el bien, ¿Cómo pues, podría yo maldecirle a Él, mi Señor y Salvador?". Fue quemado vivo, y como las llamas lo lamían sin querer quemarlo, fue preciso apuñalarlo en la hoguera para terminar de darle muerte, el 23 de febrero del año 155.