Pyhän Raymondin seurakunta oli olemassa jo ennen Bronxin perustamista, kun alue oli vielä osa New Yorkin eteläistä Westchesterin piirikuntaa. New Yorkin piispa John Dubois teetti 2. joulukuuta 1835 160 dollarin hintaisen kauppakirjan 125 jalan kertaa 26 jalan kokoisesta tontista, joka sijaitsi noin kaksi mailia pohjoiseen Fort Schuyleristä, New Yorkissa. Tontille oli tarkoitus rakentaa samana vuonna kirkko ja/tai koulu, mutta mitään ei kuitenkaan rakennettu.
Vuonna 1842 piispa John Hughes osti hehtaarin, jolla nykyinen Pyhän Raymondin kirkko sijaitsee, ja muutti vanhan puisen ladon väliaikaiseksi kirkoksi. Vuonna 1847 ostettiin viereinen hehtaari. Ostettu maa osui samaan aikaan, kun vuonna 1840 perustettiin Fordhamin kylässä sijaitseva St. John’s College, tuleva Fordhamin yliopisto. Vuonna 1842 Pyhän Johanneksen kirkon esimies Fr. Felix Vilanis nimitettiin hoitamaan Westchesterin ja Soundin varrella sijaitsevien kylien asukkaita. Hän rakensi ensimmäisen kirkon ja vihki sen käyttöön 31. elokuuta 1845. Messun jälkeen piispa Hughes siunasi kirkon viereen perustetun hautausmaan.
Vuoteen 1850 mennessä Pyhän Raymondin vastuulla oli ollut yhdeksän lähetyskirkkoa Bronxissa. Pappien vähyyden ja huonojen teiden vuoksi messua ei voitu pitää jokaisessa lähetyskappelissa joka viikko, joten papit ratsastivat piirissä käyden jokaisessa vuorollaan.
Vuonna 1865 katolinen suojeluskunta (Catholic Protectory), joka oli järjestäytynyt varattomien katolisten lasten suojelemiseksi, osti 114 eekkeriä läheistä viljelysmaata, jossa oli useita latoja. Sinne rakennettiin koulu ja asuntolat. Kristillisten koulujen veljesten ja hyväntekeväisyyssisarten johdolla lapsille annettiin koulutusta ja opetettiin ammattia. Pojat oppivat suutarointia, leipomista, puusepäntyötä, sepäntyötä, pyöränsepäntyötä, maanviljelyä ja puutarhanhoitoa. Tytöt oppivat kirjontaa, ruoanlaittoa ja käsineiden valmistusta. Laitos oli kiinteä osa seurakuntaa, kunnes se myytiin vuonna 1938.
Merkittäviin pastoreihin kuului 1840-luvun lopulla pastorina toiminut pastori William O’Reilly, joka oli Hartfordin toisen piispan veli ja sittemmin Our Lady of the Islen kirkkoherra Newportissa, Rhode Islandissa, ja Hartfordin hiippakunnan kenraalivikaari. Pastori I. A. Kensella (pastori vuosina 1857-1875) jätti testamentissaan noin 18 000 dollaria uuden kirkon rakentamista varten. Edelläkävijä pastori Michael B. McEvoy (pastori vuosina 1875-1885) osti Underhillin tilan Throgg’s Neckissä ja vihki sen hautaustarkoituksiin St. Raymond’s Cemeteryksi, joka on yksi kaupunginosan merkittävimmistä hautausmaista.