La paroisse de St. Raymond est antérieure à la création du Bronx, lorsque la région faisait encore partie du sud du comté de Westchester, dans l’État de New York. L’évêque John Dubois de New York a fait signer un acte le 2 décembre 1835 au prix de 160 dollars pour le terrain de 125 pieds sur 26 pieds situé à environ deux miles au nord de Fort Schuyler, New York. Une église et/ou une école devaient être construites cette année-là sur la parcelle de terrain, cependant, rien n’a été érigé.
En 1842, l’évêque John Hughes a acheté l’acre sur lequel se trouve l’actuelle église St. Raymond, et a converti une vieille grange en bois en une église temporaire. En 1847, une acre adjacente a été achetée. L’achat du terrain coïncide avec la fondation en 1840 du St. John’s College dans le village de Fordham, la future Fordham University. En 1842, le père Felix Vilanis, supérieur de St. John’s, fut chargé de s’occuper des habitants de Westchester et des villages situés le long du Sound. Il a construit la première église et l’a fait consacrer le 31 août 1845. Après la messe, l’évêque Hughes bénit le cimetière qui avait été aménagé à côté de l’église.
En 1850, St. Raymond était responsable avait neuf églises de mission dans le Bronx. En raison d’une pénurie de prêtres et de mauvaises routes, il n’était pas possible de dire la messe à chaque chapelle de la mission chaque semaine, de sorte que les prêtres ont parcouru le circuit en visitant chacun à tour de rôle.
En 1865, le Catholic Protectory, un orphelinat organisé pour la protection des enfants catholiques démunis a acheté 114 acres de terres agricoles à proximité avec plusieurs granges. Une école et des dortoirs ont été construits. Sous la direction des Frères des écoles chrétiennes et des Sœurs de la Charité, les enfants reçoivent une éducation et apprennent un métier. Les garçons apprennent la cordonnerie, la boulangerie, la menuiserie, la forge, le charron, l’agriculture et le jardinage. Les filles apprenaient à broder, à cuisiner et à fabriquer des gants. L’institution a fait partie intégrante de la paroisse jusqu’à sa vente en 1938.
Parmi les pasteurs notables, on trouve le révérend William O’Reilly, pasteur à la fin des années 1840, qui était le frère du deuxième évêque de Hartford, et plus tard recteur de Our Lady of the Isle à Newport, Rhode Island et vicaire général du diocèse de Hartford. Le révérend I. A. Kensella (pasteur de 1857 à 1875) a laissé environ 18 000 $ dans son testament pour l’érection d’une nouvelle église. Le révérend avant-gardiste Michael B. McEvoy (pasteur de 1875 à 1885), a acheté la ferme Underhill sur Throgg’s Neck et l’a fait consacrer à des fins d’enterrement comme le cimetière St. Raymond, l’un des cimetières notables de l’arrondissement.