Desde muy joven, Rafael Celedón comenzó a escribir en muchos periódicos, tanto en prosa como en verso. Publicó algunos folletos, fiel a su primer programa y observante de la obra de misericordia que más lo motivo: “Enseñar al que no sabe”. Publicó un cuaderno de Economía Política, sobre propiedad territorial, en Bogotá y en el Rosario Poético de Paris.
En 1878 se publica en esta ciudad francesa su obra magna: ‘Gramática, Catecismo i Vocabulario de la Lengua Goajira’ con la traducción e introducción del ciudadano Ezequiel Uricoechea por medio de su apoderado D’ Aristides Rojas. Obra editada por Maisonneuve i Cia. Libreros – Editores de Paris, autorizada por el presidente de Colombia (1876-1878) comerciante liberal Aquileo Parra Gómez, por solicitud que le hiciera el erudito filósofo bogotano Rufino José Cuervo. Derecho de propiedad que fue inscrito ante el gobernador del Distrito Federal don Pedro y refrendado por el secretario del Despacho, Raimundo Y. Andueza.
En la mencionada obra encontramos reseñas históricas de los viajes de los conquistadores y su llegada a la península, datos poblacionales y lugares habitados, los clanes y nombres de los caciques, estudio comparativo del guajiro con el castellano, elementos de la lengua guajira y sus signos gramaticales, conjugaciones, catecismo, vocabulario castellano-guajiro y viceversa sin que en su alfabeto aparezca la letra w.
Fue obispo de Santa Marta, además se le deben, entre otras obras las siguientes: Tratado Elemental de Algebra; Pío IX; y el Concilio Vaticano; La Logia en Sub-América; El Santo Cerro en Santo Domingo. Así mismo se destacó notablemente como inspirado poeta, y entre sus numerosas poesías sobresale especialmente La Asunción de Nuestra Señora. Este ilustre prelado orgullo de los sanjuaneros en particular y de nosotros los guajiros en general, murió en Abrego (Santander) el 10 de diciembre de 1902 y sus restos reposan en la ciudad de Santa Marta.
Exhorto, con todo respeto, a los estimados amigos sanjuaneros, a aunar esfuerzos y propósito para que los diferentes estamentos vivos municipales: sociedad civil, dirigencia, organizaciones de todo género, autoridades eclesiásticas y administrativas; adelantemos una cruzada para repatriar sus restos, previa construcción de un mausoleo digno de un prelado, un eminente intelectual, un apóstol de la fe católica y la educación, así como un fiel practicante y misionero de la moral cristiana.
