Lim nació en la isla china de Hainan el 8 de marzo de 1918. En 1942, durante la Segunda Guerra Mundial, trabajaba como segundo camarero en el buque mercante armado británico SS Benlomond, que se dirigía de Ciudad del Cabo a Paramaribo y Nueva York. El barco estaba armado pero se movía lentamente y navegaba solo en lugar de en un convoy.
El 23 de noviembre, el submarino alemán U-172 interceptó y golpeó al Benlomond con dos torpedos en la posición 0°18′N 38°27′W / 00.30°N 38.45°W, a unas 750 millas (1.210 km) al este de Belém, Brasil, donde Lim finalmente desembarcó. El barco se hundió a 250 millas (400 km) de la tierra más cercana al sur, pero las corrientes marinas lo llevaron al oeste de Belém. Mientras el barco se hundía, cogió un chaleco salvavidas y saltó por la borda antes de que las calderas del barco explotaran.
El Benlomond se hundió en aproximadamente dos minutos, permitiendo que sólo seis supervivientes, incluido Poon Lim, abandonaran el barco. Después de aproximadamente dos horas en el agua, Poon Lim encontró y subió a una balsa de madera de 2,4 metros cuadrados. En la balsa había varias latas de galletas, una jarra de agua de cuarenta litros (8,8 imp gal; 11 US gal), algo de chocolate, una bolsa de terrones de azúcar, algunas bengalas, dos botes de humo y una linterna. Lim fue el único superviviente del hundimiento. Cincuenta y tres de los 54 miembros de la tripulación se perdieron en el mar, incluido el capitán, John Maul, 44 tripulantes y ocho artilleros.
Poon Lim se mantuvo inicialmente con vida bebiendo el agua y comiendo la comida de la balsa, pero más tarde recurrió a la pesca y a la captura de agua de lluvia en una cubierta de lona de salvavidas. No sabía nadar muy bien y a menudo se ataba una cuerda del barco a la muñeca, por si se caía al mar. Cogió un cable de la linterna y lo convirtió en un anzuelo, y utilizó una cuerda de cáñamo como sedal. También sacó un clavo de las tablas de la balsa de madera y lo dobló en forma de anzuelo para los peces más grandes. Cuando capturaba un pez, lo abría con un cuchillo fabricado con una lata de galletas y lo secaba en un hilo de cáñamo sobre la balsa. En una ocasión, una gran tormenta le estropeó el pescado y ensució el agua. Poon, apenas vivo, atrapó un pájaro y bebió su sangre para sobrevivir.
Cuando vio tiburones, se abstuvo de nadar y trató de atrapar uno, utilizando los restos de las aves capturadas como cebo. El primer tiburón que captó el sabor medía apenas unos metros. Engulló el cebo y golpeó el sedal con toda su fuerza, pero como preparación Poon Lim había trenzado el sedal para que tuviera doble grosor. También había envuelto sus manos en lona para poder realizar la captura. El tiburón le atacó después de subirlo a la balsa, así que utilizó la jarra de agua medio llena de agua de mar como arma. Tras someter al tiburón, Poon Lim lo abrió y chupó la sangre de su hígado. Como no había llovido, no tenía agua y esto calmó su sed. Cortó las aletas y las dejó secar al sol.
En varias ocasiones se cruzó con otros barcos. El primero fue un carguero no identificado cuya tripulación lo vio pero no lo recogió ni siquiera lo saludó a pesar de sus gritos en inglés. Poon Lim sostuvo que no lo rescataron porque era asiático y es posible que supusieran que era un marinero japonés enfermo, aunque otra explicación es que los submarinos alemanes solían colocar a un «superviviente» en una balsa como trampa para que el barco que lo rescataba se detuviera, lo que lo convertía en un blanco fácil para ser hundido. Un escuadrón de hidroaviones de patrulla de la Marina de los Estados Unidos sí lo vio, y uno de ellos dejó caer una boya de señalización en el agua. Por desgracia para Poon, una gran tormenta azotó la zona al mismo tiempo y se perdió de nuevo. También fue visto una vez por un submarino alemán, que había estado haciendo ejercicios de artillería apuntando a las gaviotas.
Al principio, contaba los días haciendo nudos en una cuerda, pero más tarde decidió que no tenía sentido contar los días y simplemente empezó a contar lunas llenas.