Parohia Sfântul Raymond datează dinaintea creării Bronxului, când zona făcea încă parte din sudul comitatului Westchester, New York. Episcopul John Dubois din New York a pus să se încheie un act de proprietate la 2 decembrie 1835, la prețul de 160 de dolari, pentru terenul de 125 de picioare pe 26 de picioare situat la aproximativ două mile nord de Fort Schuyler, New York. Se intenționa ca în acel an să se construiască o biserică și/sau o școală pe terenul respectiv, însă nu s-a ridicat nimic.
În 1842, episcopul John Hughes a cumpărat acrișorul pe care se află actuala biserică Sfântul Raymond și a transformat un vechi hambar din lemn într-o biserică temporară. În 1847 a fost cumpărat un acru adiacent. Terenul cumpărat a coincis cu înființarea, în 1840, a Colegiului St. John’s din satul Fordham, viitoarea Universitate Fordham. În 1842, părintele Felix Vilanis, superiorul de la St. John’s, a fost numit să se ocupe de oamenii din Westchester și din satele de de-a lungul Sound. El a construit prima biserică și a pus să fie sfințită la 31 august 1845. După Sfânta Liturghie, episcopul Hughes a binecuvântat cimitirul care fusese amenajat lângă biserică.
Până în 1850, Sfântul Raymond’s era responsabil pentru a avea nouă biserici de misiune în Bronx. Din cauza lipsei de preoți și a drumurilor proaste, nu era posibil să se spună Sfânta Liturghie la fiecare capelă de misiune în fiecare săptămână, așa că preoții mergeau în circuit vizitându-le pe fiecare în parte.
În 1865, Catholic Protectory, un orfelinat organizat pentru protecția copiilor catolici nevoiași, a cumpărat 114 acri de teren agricol din apropiere, cu mai multe hambare. Au fost construite o școală și dormitoare. Sub conducerea Fraților Școlilor Creștine și a Surorilor de Caritate, copiii au primit o educație și au fost învățați o meserie. Băieții au învățat cizmăria, brutăria, tâmplăria, fierăria, rotarul, agricultura și grădinăritul. Fetele au învățat să brodeze, să gătească și să facă mănuși. Instituția a fost parte integrantă a parohiei până când a fost vândută în 1938.
Printre pastorii notabili s-au numărat reverendul William O’Reilly, pastor la sfârșitul anilor 1840, care a fost fratele celui de-al doilea episcop de Hartford, și mai târziu rector al Our Lady of the Isle din Newport, Rhode Island și vicar general al Diecezei de Hartford. Rev. I. A. Kensella (pastor din 1857 până în 1875) a lăsat în testamentul său aproximativ 18.000 de dolari pentru ridicarea unei noi biserici. Preotul avangardist Michael B. McEvoy (pastor din 1875 până în 1885), a cumpărat ferma Underhill de pe Throgg’s Neck și a făcut ca aceasta să fie consacrată pentru înmormântare ca cimitir St. Raymond’s Cemetery, unul dintre cimitirele notabile ale cartierului.
.