Farnost svatého Raymonda vznikla ještě před vznikem Bronxu, kdy byla tato oblast součástí jižního okresu Westchester County ve státě New York. Newyorský biskup John Dubois nechal 2. prosince 1835 vyhotovit smlouvu za 160 dolarů na pozemek o rozloze 125 krát 26 stop, který se nacházel asi dvě míle severně od Fort Schuyler ve státě New York. V tomto roce měl být na pozemku postaven kostel a/nebo škola, nicméně nic nebylo postaveno.
V roce 1842 koupil biskup John Hughes akr, na kterém se nachází současný kostel svatého Raymonda, a přestavěl starou dřevěnou stodolu na dočasný kostel. V roce 1847 byl zakoupen sousední akr. Zakoupený pozemek se shodoval se založením koleje svatého Jana ve vesnici Fordham v roce 1840, budoucí Fordhamské univerzity. V roce 1842 byl o. Felix Vilanis, představený kostela svatého Jana, pověřen péčí o obyvatele Westchesteru a vesnic podél řeky Sound. Postavil první kostel a nechal jej vysvětit 31. srpna 1845. Po mši biskup Hughes požehnal hřbitov, který byl založen v sousedství kostela.
K roku 1850 měl svatý Raymond na starosti devět misijních kostelů v Bronxu. Kvůli nedostatku kněží a špatným silnicím nebylo možné sloužit mši v každé misijní kapli každý týden, a tak kněží jezdili po obvodu a navštěvovali postupně každou z nich.
V roce 1865 zakoupila katolická ochranka, sirotčinec organizovaný na ochranu nemajetných katolických dětí, 114 akrů nedaleké zemědělské půdy s několika stodolami. Byla zde postavena škola a ubytovny. Pod vedením Bratří křesťanských škol a Milosrdných sester se dětem dostalo vzdělání a vyučovaly se řemeslu. Chlapci se učili ševcovství, pekařství, tesařství, kovářství, kolářství, zemědělství a zahradnictví. Dívky se učily vyšívat, vařit a vyrábět rukavice. Instituce byla nedílnou součástí farnosti až do jejího prodeje v roce 1938.
Mezi významné pastory patřil koncem 40. let 19. století farář Rev. William O’Reilly, který byl bratrem druhého hartfordského biskupa a později rektorem farnosti Our Lady of the Isle v Newportu na Rhode Islandu a generálním vikářem hartfordské diecéze. Páter I. A. Kensella (farář v letech 1857-1875) odkázal ve své závěti asi 18 000 dolarů na stavbu nového kostela. Prozíravý páter Michael B. McEvoy (farář v letech 1875 až 1885) koupil Underhillovu farmu na Throggově šíji a nechal ji zasvětit pro pohřební účely jako hřbitov svatého Raymonda, jeden z významných hřbitovů v obvodu.