Nació en la ciudad de Montevideo el 19 de marzo de 1845. Fueron sus padres don Jacobo Dionisio Varela y doña Benita Berro. La ascendencia de José Pedro Varela le daba un origen inteligente, encontrándose ligado a periodistas notables como Florencio Varela, poetas distinguidos como Adolfo Berro y Juan Cruz Varela y figuras históricas, como la de don Bernardo Berro, modelo de la honradez política en la Presidencia de la República.

Don Jacobo se dedicaba al comercio. En 1846 tradujo del francés "La enseñanza de la lengua Materna" del Padre Girard, el primer libro de pedagogía que se ha publicado en el Río de la Plata. Es de notarse esta coincidencia de las inclinaciones del padre, lo que explicaría el cumplimiento de la ley de herencia respecto de las del hijo. José Pedro adquirió el conocimiento de las primeras letras en el antiguo colegio de los PP Escolapios. A la edad de 15 años entró en el comercio, cediendo a las exigencias de su padre. Su deseo era estudiar y seguir la carrera de abogado u otra profesión de parecida naturaleza, para lo cual se consideraba con más aptitudes.

En el intervalo de 1860 a 1866 extendió mucho sus conocimientos literarios: aprendió el francés, el inglés y algo de alemán. Empezó a hacerse conocer en la Literatura con composiciones poéticas, crónicas y artículos literarios. Fue el principal colaborador de la Revista Literaria, periódico que vio la luz en 1866, escribiendo bajo su nombre y con el seudónimo de Cuasimodo. En 1866 se dedicó a la política, escribiendo artículos en algunos diarios de la oposición. En agosto de 1867 hizo un viaje a Europa y a los Estados Unidos. Publicó un volumen de sus composiciones poéticas con el título de "Ecos Perdidos", después de haber obtenido la aprobación de Víctor Hugo, a quien fue a ver expresamente a Guernesey. Su pasaje por Europa fue muy rápido, pero en los Estados Unidos se demoró ocho meses. Sus impresiones de viaje fueron descriptas en El Siglo. A fines de 1868 regresó a Montevideo, lleno de entusiasmo por el pueblo americano y avasallado por la idea de propender al desarrollo y mejoramiento de la educación pública. Fue en Estados Unidos donde pudo apreciar los beneficios incalculables de la educación popular, allí donde conoció y trató a los más ilustres pedagogos del Norte.

Se encontró con Sarmiento quien, a la par de Varela, se entusiasmó con el progreso creciente de Estados Unidos. Así Varela, sin recursos, aislado, igualmente cimentó también la obra de la educación popular en el Uruguay.

Al regresar de su viaje a Europa y Estados Unidos dio varias conferencias sobre educación que fueron muy aplaudidas. Se iniciaba así la fundación de la Sociedad de Amigos de la Educación Popular. Varela fue siempre el alma de la Sociedad, no sólo por sus conocimientos especiales en educación, sino por su iniciativa, y por esa perseverancia inquebrantable que tanto le distinguía. Fue así que junto a Emilio Romero, tradujo el Manual de Lecciones sobre objetos, de Calkins, y escribió la Educación del Pueblo, tratado completo de la materia, en dos volúmenes que fue premiado con medalla de oro en la Exposición de Chile y mereció otras notables distinciones en la República Argentina y otros países.

En 1869 fundó La Paz, diario de oposición al Gobierno de don Lorenzo Batlle, aunque colorado en su propaganda. Entre 1873 y 1876 trabajó de corredor primero y de procurador después, en ninguna de ambas profesiones pudo hacer camino. En 1874 se casó con la señorita Adela Acevedo, hija del doctor Don Eduardo Acevedo y de la señora Doña Joaquina Vázquez. En 1876 fue nombrado Director de Instrucción y en ese carácter primero y en el de Inspector Nacional después, realizó todos los trabajos educacionistas que son conocidos, así como las obras especiales que escribió sobre educación. José Pedro contrajo una infección pulmonar que concluyó con su vida el 24 de octubre de 1879, muriendo a la edad de treinta y cuatro años, cuando era uno de los ciudadanos más útiles para el país.