Lim se narodil 8. března 1918 na čínském ostrově Hainan. V roce 1942, během druhé světové války, pracoval jako druhý stevard na britské ozbrojené obchodní lodi SS Benlomond, která byla na cestě z Kapského Města do Paramariba a New Yorku. Loď byla ozbrojená, ale pomalu se pohybovala a místo v konvoji plula sama.
Německá ponorka U-172 23. listopadu zachytila a dvěma torpédy zasáhla Benlomond v poloze 0°18′ s. š. 38°27′ z. d. / 00,30° s. š. 38,45° z. d., asi 750 mil (1 210 km) východně od brazilského Belému, kde Lim nakonec přistál. Loď se potopila 250 mil (400 km) od nejbližší pevniny na jihu, ale oceánské proudy ji zanesly na západ k Belému. Když se loď potápěla, vzal si záchrannou vestu a skočil přes palubu dříve, než explodovaly lodní kotle.
Benlomond se potopil přibližně za dvě minuty, což umožnilo opustit loď pouze šesti přeživším, včetně Poona Lima. Přibližně po dvou hodinách ve vodě Poon Lim našel a vylezl na palubu osm stop (2,4 m) dlouhého čtvercového dřevěného voru. Na voru bylo několik konzerv sušenek, čtyřicetilitrový (8,8 imp gal; 11 US gal) džbán vody, trocha čokolády, pytel hrudkového cukru, několik světlic, dva dýmovnice a baterka. Lim byl nakonec jediným, kdo potopení přežil. Z 54členné posádky se na moři ztratilo 53 osob, včetně kapitána Johna Maula, 44 členů posádky a osmi střelců.
Poon Lim se zpočátku udržoval při životě pitím vody a konzumací jídla na voru, později se však uchýlil k rybolovu a chytání dešťové vody do plátěného potahu záchranné vesty. Neuměl dobře plavat a často si k zápěstí přivazoval lano z člunu pro případ, že by spadl do moře. Z drátku od baterky si udělal rybářský háček a jako vlasec používal konopné lano. Z prken na dřevěném voru také vydlabal hřebík a ohnul ho do háčku na větší ryby. Když chytil rybu, rozřízl ji nožem, který si vyrobil z plechovky od sušenek, a sušil ji na konopném laně nad vorem. Jednou se přihnala velká bouře, která mu zkazila ryby a znečistila vodu. Poon, sotva živý, chytil ptáka a pil jeho krev, aby přežil.
Když viděl žraloky, zdržel se plavání a snažil se nějakého ulovit, přičemž jako návnadu používal zbytky ulovených ptáků. První žralok, který mu přišel na chuť, byl dlouhý jen několik stop. Hltal návnadu a plnou silou udeřil do vlasce, ale Poon Lim si v rámci přípravy upletl vlasec tak, aby měl dvojnásobnou tloušťku. Také si omotal ruce plátnem, aby mohl úlovek provést. Žralok na něj zaútočil poté, co ho přinesl na palubu voru, a tak použil jako zbraň džbán zpola naplněný mořskou vodou. Po zkrocení žraloka ho Poon Lim rozřízl a vysál krev z jeho jater. Protože nepršelo, byl bez vody, a tak uhasil žízeň. Nakrájel ploutve a nechal je uschnout na slunci.
Několikrát kolem něj propluly další lodě. První byla neznámá nákladní loď, jejíž posádka ho viděla, ale nezvedla ho a ani ho nepozdravila, přestože zdatně křičel anglicky. Poon Lim tvrdil, že ho nechtěli zachránit, protože byl Asiat a mohli se domnívat, že je to postižený japonský námořník, ačkoli jiné vysvětlení je, že německé ponorky často nastražily „trosečníka“ na vor jako past, aby přiměly zachraňující loď zastavit, což z něj udělalo snadnou kořist k potopení. Eskadra hlídkových hydroplánů amerického námořnictva ho skutečně spatřila a jeden z nich shodil do vody značkovací bóji. Naneštěstí pro Poona zasáhla oblast ve stejnou dobu velká bouře a on se opět ztratil. Jednou ho také spatřil německý ponorkový člun, který prováděl střelecký výcvik zaměřováním racků.
Zpočátku počítal dny vázáním uzlů na provaze, ale později usoudil, že nemá smysl počítat dny, a začal prostě počítat úplňky.