La parroquia de St. Raymond’s es anterior a la creación del Bronx, cuando la zona aún formaba parte del sur del condado de Westchester, Nueva York. El obispo John Dubois de Nueva York hizo ejecutar una escritura el 2 de diciembre de 1835 a un costo de $160 por el terreno de 125 pies por 26 pies situado a unas dos millas al norte de Fort Schuyler, Nueva York. Ese año se pretendía construir una iglesia y/o una escuela en el terreno, pero no se construyó nada.
En 1842, el obispo John Hughes compró el acre en el que se encuentra la actual iglesia de San Raimundo y convirtió un viejo granero de madera en una iglesia temporal. En 1847 se compró un acre contiguo. El terreno comprado coincidió con la fundación en 1840 del St. John’s College en el pueblo de Fordham, la futura Universidad de Fordham. En 1842, el P. Félix Vilanis, superior de St. John’s, fue designado para atender a los habitantes de Westchester y de los pueblos del Sound. Construyó la primera iglesia y la hizo dedicar el 31 de agosto de 1845. Después de la misa, el obispo Hughes bendijo el cementerio que se había instalado junto a la iglesia.
Para 1850, St. Raymond’s era responsable de tener nueve iglesias de misión en el Bronx. Debido a la escasez de sacerdotes y al mal estado de los caminos, no era posible decir misa en cada capilla de la misión todas las semanas, por lo que los sacerdotes hacían un circuito visitando cada una por turno.
En 1865 el Catholic Protectory, un orfanato organizado para la protección de niños católicos indigentes, compró 114 acres de tierras de cultivo cercanas con varios graneros. Se construyó una escuela y dormitorios. Bajo la dirección de los Hermanos de las Escuelas Cristianas y las Hermanas de la Caridad, los niños recibían una educación y se les enseñaba un oficio. Los niños aprendieron zapatería, panadería, carpintería, herrería, herrería de ruedas, agricultura y jardinería. Las niñas aprendían a bordar, cocinar y hacer guantes. La institución fue parte integral de la parroquia hasta que fue vendida en 1938.
Entre los párrocos notables estaban el reverendo William O’Reilly, párroco a finales de la década de 1840, que era el hermano del segundo obispo de Hartford, y más tarde rector de Nuestra Señora de la Isla en Newport, Rhode Island y Vicario General de la Diócesis de Hartford. El reverendo I. A. Kensella (párroco de 1857 a 1875) dejó en su testamento unos 18.000 dólares para la construcción de una nueva iglesia. El reverendo Michael B. McEvoy (párroco de 1875 a 1885), con visión de futuro, compró la granja Underhill en Throgg’s Neck e hizo que se consagrara como cementerio de San Raymond, uno de los cementerios más importantes del municipio.