St Raymond’s församling är äldre än Bronx, då området fortfarande var en del av södra Westchester County, New York. Biskop John Dubois i New York lät den 2 december 1835 upprätta en handling till en kostnad av 160 dollar för den 125 fot gånger 26 fot stora tomten som ligger cirka två mil norr om Fort Schuyler, New York. En kyrka och/eller skola skulle byggas det året på tomten, men ingenting uppfördes.
1842 köpte biskop John Hughes det tunnland som den nuvarande St Raymond’s Church ligger på och byggde om en gammal trälada till en tillfällig kyrka. År 1847 köptes en angränsande acre. Marken som köptes sammanföll med grundandet 1840 av St John’s College i byn Fordham, det framtida Fordham University. År 1842 utsågs P. Felix Vilanis, överordnad vid St John’s, att ta hand om befolkningen i Westchester och byarna längs sundet. Han byggde den första kyrkan och lät inviga den 31 augusti 1845. Efter mässan välsignade biskop Hughes kyrkogården som hade anlagts i anslutning till kyrkan.
För 1850 ansvarade St Raymond’s för hade nio missionskyrkor i Bronx. På grund av brist på präster och dåliga vägar var det inte möjligt att säga mässa vid varje missionskapell varje vecka, så prästerna red runt och besökte var och en i tur och ordning.
År 1865 köpte Catholic Protectory, ett barnhem organiserat för att skydda utblottade katolska barn, 114 tunnland närliggande jordbruksmark med flera lador. En skola och sovsalar byggdes. Under ledning av Brothers of Christian Schools och Sisters of Charity fick barnen utbildning och lära sig ett yrke. Pojkarna lärde sig skomakeri, bakning, snickeri, smide, hjulsnickring, jordbruk och trädgårdsskötsel. Flickorna lärde sig att brodera, laga mat och tillverka handskar. Institutionen var en integrerad del av församlingen tills den såldes 1938.
Bland de anmärkningsvärda pastorerna fanns pastor William O’Reilly, pastor i slutet av 1840-talet, som var bror till Hartfords andra biskop, och senare rektor för Our Lady of the Isle i Newport, Rhode Island och generalvikarie för stiftet Hartford. Pastor I. A. Kensella (pastor 1857-1875) testamenterade cirka 18 000 dollar i sitt testamente för uppförandet av en ny kyrka. Den framsynte pastorn Michael B. McEvoy (pastor 1875-1885) köpte gården Underhill Farm på Throgg’s Neck och lät inviga den för begravningsändamål som St. Raymond’s Cemetery, en av stadsdelens anmärkningsvärda kyrkogårdar.