La parrocchia di St. Raymond’s precede la creazione del Bronx, quando l’area faceva ancora parte della contea meridionale di Westchester, New York. Il vescovo John Dubois di New York fece eseguire un atto il 2 dicembre 1835 al costo di 160 dollari per un terreno di 125 piedi per 26 piedi situato a circa due miglia a nord di Fort Schuyler, New York. Una chiesa e/o una scuola dovevano essere costruite quell’anno sull’appezzamento di terreno, ma non fu eretto nulla.
Nel 1842, il vescovo John Hughes acquistò l’acro su cui si trova l’attuale chiesa di San Raimondo, e convertì un vecchio fienile di legno in una chiesa temporanea. Nel 1847 fu acquistato un acro adiacente. Il terreno acquistato coincise con la fondazione nel 1840 del St. John’s College nel villaggio di Fordham, la futura Fordham University. Nel 1842 P. Felix Vilanis, superiore di St. John, fu incaricato di occuparsi della gente di Westchester e dei villaggi lungo il Sound. Egli costruì la prima chiesa e la fece dedicare il 31 agosto 1845. Dopo la messa, il vescovo Hughes benedisse il cimitero che era stato allestito accanto alla chiesa.
Entro il 1850, St. Raymond era responsabile di nove chiese di missione nel Bronx. A causa della scarsità di sacerdoti e delle cattive strade non era possibile dire messa in ogni cappella di missione ogni settimana, così i sacerdoti percorrevano il circuito visitando ciascuna a turno.
Nel 1865 il Catholic Protectory, un orfanotrofio organizzato per la protezione dei bambini cattolici indigenti, acquistò 114 acri di terreno agricolo vicino con diversi granai. Furono costruiti una scuola e dei dormitori. Sotto la direzione dei Fratelli delle Scuole Cristiane e delle Suore della Carità, i bambini ricevettero un’istruzione e un mestiere. I ragazzi impararono la calzoleria, la panificazione, la falegnameria, il fabbro, la costruzione di ruote, l’agricoltura e il giardinaggio. Le ragazze impararono a ricamare, cucinare e fare guanti. L’istituzione fu parte integrante della parrocchia fino a quando fu venduta nel 1938.
Tra i pastori degni di nota c’erano il Rev. William O’Reilly, pastore alla fine degli anni 1840, che era il fratello del secondo vescovo di Hartford, e più tardi rettore di Our Lady of the Isle a Newport, Rhode Island e Vicario Generale della Diocesi di Hartford. Il Rev. I. A. Kensella (pastore dal 1857 al 1875) lasciò nel suo testamento circa 18.000 dollari per la costruzione di una nuova chiesa. Il lungimirante Rev. Michael B. McEvoy (pastore dal 1875 al 1885), comprò la fattoria Underhill sul Throgg’s Neck e la fece consacrare a scopo di sepoltura come St. Raymond’s Cemetery, uno dei cimiteri più importanti del distretto.