Lim werd geboren op het Chinese eiland Hainan op 8 maart 1918. In 1942, tijdens de Tweede Wereldoorlog, werkte hij als tweede steward op het Britse bewapende koopvaardijschip SS Benlomond, dat op weg was van Kaapstad naar Paramaribo en New York. Het schip was bewapend maar traag voortbewegend en voer alleen in plaats van in een konvooi.
Op 23 november onderschepte en trof de Duitse onderzeeboot U-172 de Benlomond met twee torpedo’s in positie 0°18′NN 38°27′W / 00.30°N 38.45°W, zo’n 750 mijl (1.210 km) ten oosten van Belém, Brazilië, waar Lim uiteindelijk aan land kwam. Het schip zonk 250 mijl (400 km) naar het dichtstbijzijnde land in het zuiden, maar oceaanstromingen brachten hem westwaarts naar Belém. Terwijl het schip aan het zinken was, nam hij een reddingsvest en sprong overboord voordat de ketels van het schip ontploften.
Benlomond zonk in ongeveer twee minuten, waardoor slechts zes overlevenden, waaronder Poon Lim, het schip konden verlaten. Na ongeveer twee uur in het water, vond en klom Poon Lim aan boord van een 2,4 m vierkant houten vlot. Het vlot bevatte een aantal blikken koekjes, een kan water van 40 liter, wat chocolade, een zak suikerklontjes, een paar vuurpijlen, twee rookpotten en een zaklantaarn. Lim was uiteindelijk de enige overlevende van het zinken. Drieënvijftig van de 54 bemanningsleden gingen op zee verloren, waaronder de kapitein, John Maul, 44 bemanningsleden en acht kanonniers.
Poon Lim hield zich aanvankelijk in leven door het water te drinken en het voedsel op het vlot te eten, maar nam later zijn toevlucht tot vissen en het opvangen van regenwater in een canvas reddingsvestbekleding. Hij kon niet goed zwemmen en bond vaak een touw van de boot aan zijn pols, voor het geval hij in de oceaan zou vallen. Hij nam een draad van de zaklantaarn en maakte er een vishaak van, en gebruikte henneptouw als visdraad. Hij groef ook een spijker uit de planken van het houten vlot en boog die tot een haak voor grotere vissen. Als hij een vis ving, sneed hij die open met een mes dat hij uit een koekblik had gemaakt en droogde hem aan een henneptouw boven het vlot. Eens stak er een grote storm op die zijn vis bedierf en zijn water vervuilde. Poon, ternauwernood in leven, ving een vogel en dronk diens bloed om te overleven.
Toen hij haaien zag, onthield hij zich van zwemmen en probeerde er een te vangen, waarbij hij de resten van gevangen vogels als aas gebruikte. De eerste haai die de smaak te pakken kreeg was slechts een paar meter lang. Hij slokte het aas op en sloeg met volle kracht op de lijn, maar als voorbereiding had Poon Lim de lijn zo gevlochten dat hij een dubbele dikte had. Ook had hij zijn handen in zeildoek gewikkeld om hem in staat te stellen de vangst te doen. De haai viel hem aan nadat hij hem aan boord van het vlot had gebracht, dus gebruikte hij de waterkan, half gevuld met zeewater, als wapen. Nadat hij de haai had bedwongen, sneed Poon Lim hem open en zoog het bloed uit zijn lever. Omdat het niet geregend had, had hij geen water meer en dit leste zijn dorst. Hij sneed de vinnen af en liet ze in de zon drogen.
Bij verschillende gelegenheden werd hij gepasseerd door andere schepen. De eerste keer was een ongeïdentificeerd vrachtschip waarvan de bemanning hem zag maar hem niet oppikte of zelfs maar groette ondanks zijn vaardige geschreeuw in het Engels. Poon Lim beweerde dat zij hem niet wilden redden omdat hij Aziatisch was en zij misschien veronderstelden dat hij een getroffen Japanse zeeman was, hoewel een andere verklaring is dat Duitse U-boten vaak een “overlevende” op een vlot zetten als valstrik om een reddingsschip te laten stoppen waardoor het een schietschijf werd om tot zinken te worden gebracht. Een eskader patrouille watervliegtuigen van de Amerikaanse marine zag hem, en één liet een markeringsboei in het water vallen. Helaas voor Poon, een grote storm trof het gebied op hetzelfde moment en hij was weer verloren. Hij werd ook een keer gezien door een Duitse U-boot, die schietoefeningen had gedaan door op meeuwen te richten.
T eerst telde hij de dagen door knopen in een touw te leggen, maar later besloot hij dat het geen zin had om de dagen te tellen en begon gewoon volle manen te tellen.