De parochie van St. Raymond’s dateert van voor het ontstaan van de Bronx, toen het gebied nog deel uitmaakte van het zuiden van Westchester County, New York. Bisschop John Dubois van New York liet op 2 december 1835 een akte passeren voor een bedrag van 160 dollar voor het stuk grond van 125 voet bij 26 voet, ongeveer twee mijl ten noorden van Fort Schuyler, New York. Het was de bedoeling dat er dat jaar een kerk en/of school op het stuk grond gebouwd zou worden, maar er kwam niets van terecht.
In 1842 kocht bisschop John Hughes de acre waarop de huidige St. Raymond’s Church staat, en bouwde een oude houten schuur om tot een tijdelijke kerk. In 1847 werd een aangrenzende acre aangekocht. Het aangekochte land viel samen met de oprichting in 1840 van het St. John’s College in het dorp Fordham, de toekomstige Fordham Universiteit. In 1842 werd pater Felix Vilanis, overste van St. John’s, aangesteld om de bevolking van Westchester en de dorpen langs de Sound te verzorgen. Hij bouwde de eerste kerk en wijdde die op 31 augustus 1845 in. Na de mis zegende bisschop Hughes het kerkhof dat naast de kerk was aangelegd.
Tegen 1850 had St. Raymond’s negen missiekerken in de Bronx. Door een tekort aan priesters en slechte wegen was het niet mogelijk om elke week in elke missiekapel de mis op te dragen, dus reden de priesters rond om ze allemaal om de beurt te bezoeken.
In 1865 kocht de Catholic Protectory, een weeshuis dat was georganiseerd voor de bescherming van behoeftige katholieke kinderen, 114 hectare nabijgelegen landbouwgrond met enkele schuren. Er werden een school en slaapzalen gebouwd. Onder leiding van de Broeders van Christelijke Scholen en de Zusters van Liefde kregen de kinderen onderwijs en werd hen een vak geleerd. De jongens leerden schoenmaken, bakken, timmeren, smeden, wagenmakerij, landbouw en tuinieren. De meisjes leerden borduren, koken en handschoenen maken. Het instituut maakte integraal deel uit van de parochie tot het in 1938 werd verkocht.
Ondere de opmerkelijke pastoors waren Ds. William O’Reilly, pastoor aan het eind van de jaren 1840, die de broer was van de tweede bisschop van Hartford, en later rector van Our Lady of the Isle in Newport, Rhode Island en vicaris-generaal van het bisdom Hartford. Ds. I. A. Kensella (pastoor van 1857 tot 1875) liet in zijn testament ongeveer 18.000 dollar na voor de bouw van een nieuwe kerk. De vooruitstrevende Rev. Michael B. McEvoy (pastoor van 1875 tot 1885), kocht de Underhill Farm op Throgg’s Neck en liet het inwijden voor begrafenisdoeleinden als St. Raymond’s Cemetery, een van de opmerkelijke begraafplaatsen van de borough.