Lim föddes på ön Hainan i Kina den 8 mars 1918. Under andra världskriget 1942 arbetade han som andra steward på det brittiska beväpnade handelsfartyget SS Benlomond, som var på väg från Kapstaden till Paramaribo och New York. Fartyget var beväpnat men rörde sig långsamt och seglade ensamt i stället för i en konvoj.
Den 23 november avlyssnade och träffade den tyska ubåten U-172 Benlomond med två torpeder på position 0°18′N 38°27′′W / 00,30°N 38,45°W, cirka 1 210 km öster om Belém i Brasilien, där Lim slutligen landade. Fartyget sjönk 400 km till närmaste land i söder, men havsströmmarna förde honom västerut till Belém. När fartyget höll på att sjunka tog han en flytväst och hoppade överbord innan fartygets pannor exploderade.
Benlomond sjönk på cirka två minuter, vilket gjorde att endast sex överlevande, däribland Poon Lim, kunde lämna fartyget. Efter cirka två timmar i vattnet hittade Poon Lim en 2,4 meter fyrkantig träflotte och klättrade ombord. Flotten innehöll flera burkar med kex, en fyrtio liters vattenkanna (8,8 imp gal; 11 US gal), lite choklad, en påse med sockerbitar, några nödraketer, två rökgrytor och en ficklampa. Lim var slutligen den enda överlevande vid förlisningen. Femtiotre av besättningen på 54 personer gick förlorade till sjöss, däribland befälhavaren John Maul, 44 besättningsmän och åtta kanonister.
Poon Lim höll sig till en början vid liv genom att dricka vattnet och äta maten på flotten, men tog senare till fisket och fångade upp regnvatten i ett flytvästöverdrag av kanfas. Han kunde inte simma särskilt bra och knöt ofta ett rep från båten till sin handled, ifall han skulle falla i havet. Han tog en tråd från ficklampan och gjorde den till en fiskekrok och använde hamprep som fiskelina. Han grävde också ut en spik ur brädorna på träflotten och böjde den till en krok för större fiskar. När han fångade en fisk skar han upp den med en kniv som han tillverkade av en kakburk och torkade den på ett hamplinne över flotten. En gång kom en stor storm som förstörde fisken och vattnet. Poon, som knappt levde, fångade en fågel och drack dess blod för att överleva.
När han såg hajar avstod han från att simma och försökte fånga en och använde resterna av fångade fåglar som bete. Den första hajen som tog smak var bara några få meter lång. Han slukade betet och slog med full kraft mot linan, men som förberedelse hade Poon Lim flätat linan så att den fick dubbel tjocklek. Han hade också lindat in sina händer i duk för att kunna göra fångsten. Hajen attackerade honom efter att han fört den ombord på flotten, så han använde vattenkannan som var halvt fylld med havsvatten som ett vapen. Efter att ha övermannat hajen skar Poon Lim upp den och sög blodet ur levern. Eftersom det inte hade regnat var han utan vatten och detta släckte hans törst. Han skar av fenorna och lät dem torka i solen.
Vid flera tillfällen passerades han av andra fartyg. Det första var ett oidentifierat fraktfartyg vars besättning såg honom men inte tog upp honom eller ens hälsade på honom trots hans skickliga rop på engelska. Poon Lim hävdade att de inte ville rädda honom eftersom han var asiat och att de kan ha antagit att han var en drabbad japansk sjöman, även om en annan förklaring är att tyska ubåtar ofta placerade en ”överlevande” på en flotte som en fälla för att få ett räddningsfartyg att stanna, vilket gjorde det till ett lätt byte för att bli sänkt. En skvadron patrullflygplan från Förenta staternas flotta såg honom, och ett av dem släppte en markeringsboj i vattnet. Olyckligtvis för Poon drabbades området samtidigt av en stor storm och han försvann igen. Han upptäcktes också en gång av en tysk ubåt, som hade gjort skjutövningar genom att sikta på måsar.
I början räknade han dagarna genom att knyta knutar i ett rep, men senare bestämde han sig för att det inte var någon idé att räkna dagarna och började helt enkelt att räkna fullmånar.