Parafia św. Rajmunda powstała przed utworzeniem Bronksu, kiedy obszar ten był jeszcze częścią południowej części hrabstwa Westchester, Nowy Jork. Biskup John Dubois z Nowego Jorku zlecił wykonanie aktu notarialnego 2 grudnia 1835 roku za cenę 160 dolarów na działkę o wymiarach 125 stóp na 26 stóp, położoną około dwóch mil na północ od Fort Schuyler, w stanie Nowy Jork. Kościół i / lub szkoła miały być zbudowane w tym roku na działce, jednak nic nie zostało wzniesione.
W 1842 roku biskup John Hughes kupił akr, na którym znajduje się obecny kościół św Raymonda, i przekształcił starą drewnianą stodołę w tymczasowy kościół. W 1847 roku został zakupiony sąsiedni akr. Zakup ziemi zbiegł się w czasie z założeniem w 1840 roku St John’s College w wiosce Fordham, przyszłego Fordham University. W 1842 roku o. Felix Vilanis, przełożony St. John’s, został wyznaczony do opieki nad mieszkańcami Westchester i wiosek położonych wzdłuż cieśniny Sund. Wybudował on pierwszy kościół i poświęcił go 31 sierpnia 1845 roku. Po mszy, biskup Hughes pobłogosławił cmentarz, który został założony obok kościoła.
Do 1850 roku, St. Raymond’s był odpowiedzialny za dziewięć kościołów misyjnych w Bronxie. Ze względu na brak księży i kiepskie drogi nie było możliwe odprawianie mszy w każdej kaplicy misyjnej co tydzień, więc księża jeździli po obwodzie odwiedzając każdy z nich po kolei.
W 1865 roku Catholic Protectory, sierociniec zorganizowany dla ochrony pozbawionych środków do życia dzieci katolickich zakupił 114 akrów pobliskiej ziemi uprawnej z kilkoma stodołami. Wybudowano szkołę i dormitoria. Pod kierunkiem Braci Szkół Chrześcijańskich i Sióstr Miłosierdzia, dzieci otrzymywały wykształcenie i uczyły się zawodu. Chłopcy uczyli się szewstwa, piekarstwa, stolarstwa, kowalstwa, kołodziejstwa, rolnictwa i ogrodnictwa. Dziewczynki uczyły się haftować, gotować i robić rękawiczki. Instytucja była integralną częścią parafii, aż został sprzedany w 1938 roku.
Wśród znaczących pastorów były Rev. William O’Reilly, pastor w późnych latach 1840, który był bratem drugiego biskupa Hartford, a później rektor Our Lady of the Isle w Newport, Rhode Island i wikariusz generalny diecezji Hartford. Ks. I. A. Kensella (proboszcz w latach 1857-1875) pozostawił w swoim testamencie około $18,000 na budowę nowego kościoła. Myślący przyszłościowo ks. Michael B. McEvoy (proboszcz w latach 1875 – 1885), kupił Underhill Farm na Throgg’s Neck i poświęcił ją na cele grzebalne jako St. Raymond’s Cemetery, jeden z godnych uwagi cmentarzy w gminie.
.