Lim wurde am 8. März 1918 auf der chinesischen Insel Hainan geboren. Im Jahr 1942, während des Zweiten Weltkriegs, arbeitete er als zweiter Steward auf dem britischen bewaffneten Handelsschiff SS Benlomond, das auf dem Weg von Kapstadt nach Paramaribo und New York war. Das Schiff war bewaffnet, bewegte sich aber nur langsam und fuhr allein statt in einem Konvoi.
Am 23. November fing das deutsche U-Boot U-172 die Benlomond ab und traf sie mit zwei Torpedos auf der Position 0°18′N 38°27′W / 00.30°N 38.45°W, etwa 750 Meilen (1.210 km) östlich von Belém, Brasilien, wo Lim schließlich landete. Das Schiff sank 250 Meilen (400 km) vor dem nächstgelegenen Land im Süden, aber die Meeresströmungen trieben ihn nach Westen bis Belém. Als das Schiff zu sinken begann, nahm er eine Rettungsweste und sprang über Bord, bevor die Kessel des Schiffes explodierten.
Die Benlomond sank in etwa zwei Minuten, so dass nur sechs Überlebende, darunter Poon Lim, das Schiff verlassen konnten. Nach etwa zwei Stunden im Wasser fand Poon Lim ein 2,4 m langes, quadratisches Holzfloß und kletterte an Bord. Auf dem Floß befanden sich mehrere Keksdosen, ein Vierzig-Liter-Krug mit Wasser, etwas Schokolade, ein Beutel Würfelzucker, einige Fackeln, zwei Rauchtöpfe und eine Taschenlampe. Lim war schließlich der einzige Überlebende des Untergangs. Dreiundfünfzig der 54-köpfigen Besatzung gingen auf See verloren, darunter der Kapitän John Maul, 44 Besatzungsmitglieder und acht Kanoniere.
Poon Lim hielt sich zunächst am Leben, indem er das Wasser trank und das Essen auf dem Floß aß, doch später griff er zum Fischfang und fing Regenwasser in einer Rettungsweste aus Segeltuch auf. Er konnte nicht sehr gut schwimmen und band sich oft ein Seil vom Boot ans Handgelenk, falls er ins Meer fallen sollte. Aus einem Draht der Taschenlampe machte er einen Angelhaken und benutzte ein Hanfseil als Angelschnur. Außerdem grub er einen Nagel aus den Brettern des Holzfloßes aus und bog ihn zu einem Haken für größere Fische um. Wenn er einen Fisch gefangen hatte, schnitt er ihn mit einem Messer auf, das er aus einer Keksdose gebastelt hatte, und trocknete ihn an einer Hanfschnur über dem Floß. Einmal kam ein großer Sturm auf, der seine Fische verdarb und das Wasser verunreinigte. Poon, der kaum noch am Leben war, fing einen Vogel und trank sein Blut, um zu überleben.
Als er Haie sah, schwamm er nicht mehr, sondern versuchte, einen zu fangen, und benutzte die Überreste gefangener Vögel als Köder. Der erste Hai, der auf den Geschmack kam, war nur ein paar Meter lang. Er verschlang den Köder und schlug mit voller Wucht auf die Leine, aber Poon Lim hatte die Leine zur Vorbereitung geflochten, damit sie doppelt so dick war. Außerdem hatte er seine Hände in Segeltuch eingewickelt, damit er den Fang machen konnte. Der Hai griff ihn an, nachdem er ihn an Bord des Floßes gebracht hatte, so dass er den halb mit Meerwasser gefüllten Wasserkrug als Waffe benutzte. Nachdem er den Hai überwältigt hatte, schnitt Poon Lim ihn auf und saugte ihm das Blut aus der Leber. Da es nicht geregnet hatte, hatte er kein Wasser mehr, und das löschte seinen Durst. Er schnitt die Flossen ab und ließ sie in der Sonne trocknen.
Bei mehreren Gelegenheiten wurde er von anderen Schiffen passiert. Das erste war ein nicht identifizierter Frachter, dessen Besatzung ihn zwar sah, ihn aber nicht aufnahm oder gar grüßte, obwohl er fähig war, auf Englisch zu schreien. Poon Lim behauptete, dass sie ihn nicht retten wollten, weil er Asiate war und sie vielleicht annahmen, dass er ein angeschlagener japanischer Seemann war, obwohl eine andere Erklärung ist, dass deutsche U-Boote oft einen „Überlebenden“ auf ein Floß setzten, um ein rettendes Schiff zum Anhalten zu bewegen, was es zu einer leichten Beute machte, die versenkt werden konnte. Ein Geschwader von Patrouillenflugzeugen der US-Marine sah ihn, und eines warf eine Markierungsboje ins Wasser. Unglücklicherweise wurde Poon zur gleichen Zeit von einem heftigen Sturm heimgesucht, und er ging erneut verloren. Er wurde auch einmal von einem deutschen U-Boot gesichtet, das Schießübungen mit Möwen durchführte.
Zunächst zählte er die Tage, indem er Knoten in ein Seil knüpfte, entschied aber später, dass es keinen Sinn hatte, die Tage zu zählen, und begann einfach, die Vollmonde zu zählen.