Lim est né sur l’île de Hainan en Chine le 8 mars 1918. En 1942, pendant la Seconde Guerre mondiale, il travaille comme second steward sur le navire marchand armé britannique SS Benlomond, qui fait route du Cap vers Paramaribo et New York. Le navire était armé mais se déplaçait lentement et naviguait seul au lieu de faire partie d’un convoi.
Le 23 novembre, le sous-marin allemand U-172, intercepte et frappe le Benlomond avec deux torpilles à la position 0°18′N 38°27′W / 00,30°N 38,45°W, à quelque 750 miles (1 210 km) à l’est de Belém, au Brésil, où Lim a finalement accosté. Le navire a coulé à 250 miles (400 km) de la terre la plus proche au sud, mais les courants océaniques l’ont emmené à l’ouest de Belém. Alors que le navire coulait, il a pris un gilet de sauvetage et a sauté par-dessus bord avant que les chaudières du navire n’explosent.
Le Benlomond a coulé en deux minutes environ, permettant à seulement six survivants, dont Poon Lim, d’abandonner le navire. Après environ deux heures dans l’eau, Poon Lim a trouvé et grimpé à bord d’un radeau en bois carré de huit pieds (2,4 m). Le radeau contenait plusieurs boîtes de biscuits, une cruche d’eau de quarante litres (8,8 gal. imp. ; 11 gal. US), du chocolat, un sac de sucre en morceaux, des fusées éclairantes, deux pots à fumée et une lampe de poche. Lim est finalement le seul survivant du naufrage. Cinquante-trois des 54 membres de l’équipage ont été perdus en mer, dont le capitaine, John Maul, 44 membres d’équipage et huit artilleurs.
Poon Lim s’est d’abord maintenu en vie en buvant l’eau et en mangeant la nourriture sur le radeau, mais il a ensuite eu recours à la pêche et à la récupération de l’eau de pluie dans une housse de gilet de sauvetage en toile. Il ne savait pas très bien nager et attachait souvent une corde du bateau à son poignet, au cas où il tomberait dans l’océan. Il prenait un fil de la lampe de poche et en faisait un hameçon, et utilisait une corde de chanvre comme ligne de pêche. Il creuse également un clou dans les planches du radeau en bois et le plie pour en faire un hameçon pour les gros poissons. Lorsqu’il capturait un poisson, il l’ouvrait avec un couteau fabriqué à partir d’une boîte à biscuits et le faisait sécher sur une corde de chanvre au-dessus du radeau. Une fois, une grosse tempête s’est abattue sur le radeau et a gâché ses poissons et pollué son eau. Poon, à peine vivant, a attrapé un oiseau et a bu son sang pour survivre.
Quand il voyait des requins, il s’abstenait de nager et cherchait à en attraper un, en utilisant les restes d’oiseaux attrapés comme appât. Le premier requin à en avoir pris le goût ne mesurait que quelques mètres. Il a avalé l’appât et a frappé la ligne de toute sa force, mais en préparation, Poon Lim avait tressé la ligne pour qu’elle ait une double épaisseur. Il avait également enveloppé ses mains dans une toile pour lui permettre de faire la prise. Le requin l’a attaqué après l’avoir amené à bord du radeau, il a donc utilisé la cruche à moitié remplie d’eau de mer comme arme. Après avoir maîtrisé le requin, Poon Lim l’a ouvert et a sucé le sang de son foie. Comme il n’avait pas plu, il était à court d’eau et cela a étanché sa soif. Il a tranché les ailerons et les a laissés sécher au soleil.
À plusieurs reprises, il a été dépassé par d’autres navires. Le premier était un cargo non identifié dont l’équipage l’a vu mais ne l’a pas relevé ni même salué malgré ses cris compétents en anglais. Poon Lim prétend qu’ils n’ont pas voulu le secourir parce qu’il était asiatique et qu’ils ont peut-être supposé qu’il s’agissait d’un marin japonais en détresse, bien qu’une autre explication soit que les sous-marins allemands plaçaient souvent un « survivant » sur un radeau comme piège pour inciter un navire de sauvetage à s’arrêter, ce qui en faisait une cible facile à couler. Un escadron d’hydravions de patrouille de la marine américaine l’a vu, et l’un d’eux a largué une bouée de marquage dans l’eau. Malheureusement pour Poon, une grosse tempête s’est abattue sur la région au même moment et il a de nouveau été perdu. Il a également été repéré une fois par un U-boot allemand, qui avait fait des exercices de tir en ciblant des mouettes.
Au début, il comptait les jours en faisant des nœuds dans une corde, mais il a ensuite décidé qu’il n’y avait aucun intérêt à compter les jours et a simplement commencé à compter les pleines lunes.