Lim syntyi Kiinan Hainanin saarella 8. maaliskuuta 1918. Toisen maailmansodan aikana vuonna 1942 hän työskenteli toisena stuerttina brittiläisellä aseistetulla kauppalaiva SS Benlomondilla, joka oli matkalla Kapkaupungista Paramariboon ja New Yorkiin. Alus oli aseistettu mutta hitaasti liikkuva, ja se purjehti yksin eikä saattueessa.
Saksalainen sukellusvene U-172 pysäytti Benlomondin ja iski siihen kahdella torpedolla 23. marraskuuta paikassa 0°18′N 38°27′W / 00.30°N 38.45°W noin 750 mailia (1210 kilometriä) itään Belémistä, Brasiliasta, jonne Lim lopulta rantautui. Alus upposi 250 meripeninkulman (400 km) päähän lähimmästä maasta etelään, mutta merivirrat veivät hänet länteen Belémiin. Kun alus oli uppoamassa, hän otti pelastusliivit ja hyppäsi yli laidan ennen kuin aluksen kattilat räjähtivät.
Benlomond upposi noin kahdessa minuutissa, jolloin vain kuusi eloonjäänyttä, mukaan lukien Poon Lim, pääsi jättämään aluksen. Noin kahden tunnin vedessä olon jälkeen Poon Lim löysi ja kiipesi kahdeksanjalkaisen (2,4 m) neliönmuotoisen puulautan kyytiin. Lautalla oli useita purkkeja keksejä, neljänkymmenen litran (8,8 imp gal; 11 US gal) vesikannu, suklaata, pussi sokeripaloja, soihtuja, kaksi savupannua ja taskulamppu. Lim oli lopulta uppoamisen ainoa selviytyjä. 54 hengen miehistöstä 53 hukkui mereen, mukaan lukien päällikkö John Maul, 44 miehistön jäsentä ja kahdeksan tykkimiestä.
Poon Lim piti aluksi itsensä hengissä juomalla vettä ja syömällä lautalla ollutta ruokaa, mutta turvautui sittemmin kalastukseen ja sadeveden pyydystämiseen pelastusliivin kankaiseen suojukseen. Hän ei osannut uida kovin hyvin ja sitoi usein veneen köyden ranteeseensa siltä varalta, että putoaisi mereen. Hän otti taskulampusta langan ja teki siitä kalakoukun ja käytti hamppuköyttä siimana. Hän kaivoi myös naulan puisen lautan laudoista ja taivutti sen koukuksi isompia kaloja varten. Kun hän sai kalan kiinni, hän leikkasi sen auki veitsellä, jonka hän muotoili keksipurkista, ja kuivasi sen hamppusiimalla lautan yläpuolella. Kerran iski kova myrsky, joka pilasi hänen kalansa ja saastutti veden. Poon, joka oli hädin tuskin hengissä, nappasi linnun ja joi sen verta selvitäkseen hengissä.
Kun hän näki haita, hän pidättäytyi uimisesta ja pyrki pyydystämään sellaisen käyttäen pyydystettyjen lintujen jäänteitä syötteinä. Ensimmäinen hai, joka tarttui makuun, oli vain muutaman metrin pituinen. Se nielaisi syötin ja iski siimaan täydellä voimalla, mutta valmistautuessaan Poon Lim oli punonut siiman niin, että se oli tuplapaksu. Hän oli myös käärinyt kätensä kankaaseen, jotta hän pystyisi saalistamaan. Hai hyökkäsi hänen kimppuunsa sen jälkeen, kun hän oli tuonut sen lautalle, joten hän käytti aseena merivedellä puoliksi täytettyä vesikannua. Nujerrettuaan hain Poon Lim leikkasi sen auki ja imi veren sen maksasta. Koska ei ollut satanut, hänellä ei ollut vettä, ja tämä sammutti hänen janonsa. Hän leikkasi evät irti ja antoi niiden kuivua auringossa.
Moneen otteeseen muut alukset ohittivat hänet. Ensimmäinen oli tuntematon rahtialus, jonka miehistö näki hänet, mutta ei ottanut häntä kyytiin eikä edes tervehtinyt, vaikka hän huusi taitavasti englanniksi. Poon Lim väitti, etteivät he pelastaneet häntä, koska hän oli aasialainen ja he saattoivat olettaa, että hän oli onnettomuuteen joutunut japanilainen merimies, vaikka toinen selitys on se, että saksalaiset sukellusveneet asettivat usein ”eloonjääneen” lautalle ansaksi saadakseen pelastavan aluksen pysähtymään, mikä teki hänestä istuvan maalitaulun uppoamista varten. Yhdysvaltain laivaston partiolentolaivue näki hänet, ja yksi heitti merkkipoijun veteen. Poonin epäonneksi alueelle iski samaan aikaan suuri myrsky, ja hän katosi jälleen. Kerran hänet havaitsi myös saksalainen sukellusvene, joka oli tehnyt tykistöharjoituksia tähtäilemällä lokkeja.
Aluksi hän laski päiviä solmimalla solmuja köyteen, mutta myöhemmin hän päätti, ettei päivien laskemisessa ollut mitään järkeä, ja ryhtyi yksinkertaisesti laskemaan täysikuita.