Lim nasceu na ilha Hainan da China em 8 de Março de 1918. Em 1942, durante a Segunda Guerra Mundial, ele estava trabalhando como segundo comissário de bordo no navio mercante armado britânico SS Benlomond, que estava a caminho da Cidade do Cabo para Paramaribo e Nova York. O navio estava armado mas em movimento lento e navegava sozinho em vez de num comboio.
Em 23 de Novembro, o submarino alemão U-172, um submarino alemão, interceptou e atingiu o Benlomond com dois torpedos na posição 0°18′N 38°27′W / 00.30°N 38.45°W, cerca de 750 milhas (1.210 km) a leste de Belém, Brasil, onde o Lim acabou por aterrar. O navio afundou 250 milhas (400 km) para a terra mais próxima ao Sul, mas as correntes oceânicas o levaram para Oeste, para Belém. Enquanto o navio afundava, ele pegou um colete salva-vidas e pulou ao mar antes que as caldeiras do navio explodissem.
Benlomond afundou em aproximadamente dois minutos, permitindo que apenas seis sobreviventes, incluindo o Poon Lim, abandonassem o navio. Após aproximadamente duas horas na água, o Poon Lim encontrou e subiu a bordo de uma jangada de madeira quadrada de 2,4 m (oito pés). A jangada tinha várias latas de biscoitos, uma jarra de água de 40 litros (8,8 imp gal; 11 US gal), um pouco de chocolate, um saco de pedaços de açúcar, alguns sinalizadores, dois potes de fumaça, e uma lanterna. Lim acabou sendo o único sobrevivente do afundamento. Cinquenta e três da tripulação de 54 pessoas perderam-se no mar, incluindo o mestre, John Maul, 44 tripulantes, e oito artilheiros.
Poon Lim inicialmente manteve-se vivo bebendo a água e comendo a comida na jangada, mas mais tarde recorreu à pesca e apanhando a água da chuva numa cobertura de colete salva-vidas em lona. Ele não sabia nadar muito bem e muitas vezes amarrava uma corda do barco ao pulso, para o caso de cair no oceano. Ele pegou um fio da lanterna e o transformou em um anzol, e usou uma corda de cânhamo como linha de pesca. Ele também cavou um prego das tábuas na jangada de madeira e o dobrou em um anzol para peixes maiores. Quando ele capturava um peixe, ele o cortava com uma faca que formava em uma lata de biscoito e o secava em uma linha de cânhamo sobre a jangada. Uma vez, uma grande tempestade atingiu e estragou o seu peixe e sujou a sua água. Poon, mal vivo, apanhou uma ave e bebeu o seu sangue para sobreviver.
Quando viu tubarões, absteve-se de nadar e procurou apanhar um, usando os restos de aves apanhadas como isco. O primeiro tubarão a apanhar o sabor tinha apenas alguns metros de comprimento. Ele engoliu a isca e bateu na linha com força total, mas na preparação o Poon Lim tinha trançado a linha de forma a ter o dobro da espessura. Ele também tinha embrulhado as mãos em lona para permitir que ele fizesse a captura. O tubarão atacou-o depois de o ter trazido para bordo da jangada, então ele usou o jarro de água meio cheio com água do mar como arma. Depois de subjugar o tubarão, Poon Lim cortou-o e sugou-lhe o sangue do fígado. Como não tinha chovido, ele estava fora de água e isto matou-lhe a sede. Ele cortou as barbatanas e deixou-as secar ao sol.
Em várias ocasiões ele foi passado por outros vasos. A primeira foi um cargueiro não identificado cuja tripulação o viu, mas que não o apanhou ou mesmo o cumprimentou apesar dos seus gritos proficientes em inglês. Poon Lim argumentou que eles não o resgatariam porque ele era asiático e eles podem ter presumido que ele era um marinheiro japonês acometido, embora outra explicação seja que os submarinos alemães muitas vezes colocam um “sobrevivente” em uma jangada como uma armadilha para fazer um navio de resgate parar o que fez dele um alvo fácil para ser afundado. Um esquadrão de hidroaviões patrulha da Marinha dos Estados Unidos o viu, e um deixou cair uma bóia de marcação na água. Infelizmente para Poon, uma grande tempestade atingiu a área ao mesmo tempo e ele estava perdido novamente. Ele também foi uma vez avistado por um submarino alemão, que estava fazendo exercícios de artilharia com gaivotas.
No início, ele contou os dias amarrando nós em uma corda, mas mais tarde decidiu que não valia a pena contar os dias e simplesmente começou a contar as luas cheias.