Lim blev født den 8. marts 1918 på den kinesiske ø Hainan i Kina. I 1942, under Anden Verdenskrig, arbejdede han som anden steward på det britiske væbnede handelsskib SS Benlomond, der var på vej fra Cape Town til Paramaribo og New York. Skibet var bevæbnet, men bevægede sig langsomt og sejlede alene i stedet for i en konvoj.
Den 23. november opsnappede og ramte den tyske ubåd U-172 Benlomond med to torpedoer på position 0°18′N 38°27′′W / 00.30°N 38.45°W, ca. 750 sømil (1.210 km) øst for Belém i Brasilien, hvor Lim i sidste ende gik i land. Skibet sank 250 sømil (400 km) til det nærmeste land mod syd, men havstrømme bragte ham vestpå til Belém. Da skibet var ved at synke, tog han en redningsvest og sprang over bord, inden skibets kedler eksploderede.
Benlomond sank på ca. to minutter, så kun seks overlevende, herunder Poon Lim, kunne forlade skibet. Efter ca. to timer i vandet fandt Poon Lim en 2,4 m bred træflåde og klatrede om bord på den. Flåden indeholdt flere dåser med kiks, en 40-liters (8,8 imp gal; 11 US gal) kande med vand, noget chokolade, en pose med sukkerknalder, nogle nødblus, to røgdåser og en lommelygte. Lim var i sidste ende den eneste overlevende efter forliset. 53 af besætningen på 54 mand gik tabt på havet, herunder kaptajnen, John Maul, 44 besætningsmedlemmer og otte kanonerer.
Poon Lim holdt sig først i live ved at drikke vandet og spise maden på flåden, men tyede senere til at fiske og fange regnvand i et overtræk af en redningsvest af kanvas. Han kunne ikke svømme særlig godt og bandt ofte et reb fra båden til sit håndled, i tilfælde af at han faldt i havet. Han tog en ledning fra lommelygten og lavede den om til en fiskekrog, og han brugte hampetov som fiskeline. Han gravede også et søm ud af brædderne på træflåden og bøjede det til en krog til større fisk. Når han fangede en fisk, skar han den op med en kniv, som han lavede ud af en kagedåse, og tørrede den på en hampeline over flåden. Engang kom der en stor storm, som ødelagde hans fisk og forurenede hans vand. Poon, der knap nok var i live, fangede en fugl og drak dens blod for at overleve.
Når han så hajer, undlod han at svømme og søgte at fange en, idet han brugte resterne af de fangede fugle som madding. Den første haj, der tog smagen op, var kun få meter lang. Den slugte lokkemaden og ramte linen med fuld kraft, men som forberedelse havde Poon Lim flettet linen, så den havde dobbelt tykkelse. Han havde også viklet sine hænder ind i lærred, så han kunne fange den. Hajen angreb ham, efter at han havde bragt den om bord på flåden, så han brugte vandkanden, der var halvt fyldt med havvand, som et våben. Efter at have overmandet hajen skar Poon Lim den op og sugede blodet fra dens lever. Da det ikke havde regnet, var han løbet tør for vand, og det slukkede hans tørst. Han skar finnerne i skiver og lod dem tørre i solen.
Ved flere lejligheder blev han passeret af andre fartøjer. Det første var et uidentificeret fragtskib, hvis besætning så ham, men ikke tog ham op eller hilste på ham på trods af hans dygtige råb på engelsk. Poon Lim hævdede, at de ikke ville redde ham, fordi han var asiat, og at de måske antog, at han var en ramt japansk sømand, selv om en anden forklaring er, at tyske ubåde ofte satte en “overlevende” på en tømmerflåde som en fælde for at få et redningsskib til at stoppe, hvilket gjorde det til et let bytte for at blive sænket. En eskadrille af patruljefly fra den amerikanske flåde så ham, og et af dem kastede en markørbøje i vandet. Desværre for Poon ramte en stor storm området på samme tid, og han var tabt igen. Han blev også en gang spottet af en tysk ubåd, som havde lavet skydeøvelser ved at sigte på måger.
I begyndelsen talte han dagene ved at binde knuder i et reb, men besluttede senere, at det ikke gav nogen mening at tælle dagene, og begyndte blot at tælle fuldmåner.