Die Pfarrei St. Raymond’s entstand schon vor der Gründung der Bronx, als das Gebiet noch zum südlichen Westchester County, New York, gehörte. Bischof John Dubois von New York ließ am 2. Dezember 1835 eine Urkunde zum Preis von 160 Dollar für das 125 Fuß mal 26 Fuß große Grundstück ausstellen, das etwa zwei Meilen nördlich von Fort Schuyler, New York, lag. In jenem Jahr sollten auf dem Grundstück eine Kirche und/oder eine Schule errichtet werden, doch dazu kam es nicht.
1842 kaufte Bischof John Hughes den Hektar, auf dem sich die heutige St. Raymond’s Church befindet, und baute eine alte Holzscheune zu einer provisorischen Kirche um. Im Jahr 1847 wurde ein angrenzender Hektar erworben. Der Landkauf fiel mit der Gründung des St. John’s College im Dorf Fordham im Jahr 1840 zusammen, der späteren Fordham University. 1842 wurde Pater Felix Vilanis, der Superior von St. John’s, mit der Betreuung der Menschen in Westchester und den Dörfern entlang des Sundes beauftragt. Er baute die erste Kirche und ließ sie am 31. August 1845 einweihen. Nach der Messe segnete Bischof Hughes den Friedhof, der neben der Kirche angelegt worden war.
Bis 1850 war St. Raymond’s für neun Missionskirchen in der Bronx zuständig. Wegen des Priestermangels und der schlechten Straßen war es nicht möglich, jede Woche in jeder Missionskapelle die Messe zu feiern, so dass die Priester im Kreis fuhren und jede Kirche besuchten.
Im Jahr 1865 erwarb das Catholic Protectory, ein Waisenhaus zum Schutz mittelloser katholischer Kinder, 114 Hektar nahe gelegenes Ackerland mit mehreren Scheunen. Es wurden eine Schule und Schlafsäle gebaut. Unter der Leitung der Brüder der Christlichen Schulen und der Schwestern der Nächstenliebe erhielten die Kinder eine Schulbildung und erlernten einen Beruf. Die Jungen lernten Schuhmacher, Bäcker, Schreiner, Schmied, Stellmacher, Landwirt und Gärtner. Die Mädchen lernten sticken, kochen und Handschuhe anfertigen. Die Einrichtung war ein fester Bestandteil der Pfarrei, bis sie 1938 verkauft wurde.
Zu den bemerkenswerten Pfarrern gehörten Rev. William O’Reilly, Pfarrer in den späten 1840er Jahren, der Bruder des zweiten Bischofs von Hartford, und später Rektor von Our Lady of the Isle in Newport, Rhode Island und Generalvikar der Diözese Hartford. Der Rev. I. A. Kensella (Pfarrer von 1857 bis 1875) hinterließ in seinem Testament rund 18.000 Dollar für den Bau einer neuen Kirche. Der vorausschauende Rev. Michael B. McEvoy (Pfarrer von 1875 bis 1885) kaufte die Underhill Farm am Throgg’s Neck und ließ sie für Bestattungszwecke als St. Raymond’s Cemetery einweihen, einen der bemerkenswerten Friedhöfe der Gemeinde.