O navio britânico Sea Venture, transportando cerca de 150 colonos com destino à Virgínia, naufragou em cardumes ao largo das Bermudas durante um furacão em 1609. Uma estilização do cenário – no qual um navio em mares revoltos parece estar a embater num penhasco – foi incorporada no primeiro brasão de armas da ilha, concedido em 1635. O actual brasão de armas foi concedido à colónia das Bermudas em 4 de Outubro de 1910. Inclui o escudo original, que é segurado por um leão vermelho inglês sentado dentro de um escudo branco maior com uma área gramada verde no fundo e, numa fita por baixo, o lema latino “Quo fata ferunt” (“Para onde os destinos levam”). Este novo braço (menos o lema) foi incorporado na bandeira, substituindo um distintivo do final do século XIX.
A bandeira padrão dos navios privados dos territórios coloniais britânicos era para ser vermelha com o Union Jack no canto, mas sem qualquer distintivo. Em 1892 o Canadá recebeu permissão para usar suas armas como crachá no Red Ensign exibido por cidadãos privados. Os proprietários de iates nas Bermudas estavam logo usando um Red Ensign deformado, embora sem autorização oficial. Eventualmente, as Bermudas começaram a exibir seu Alferes Vermelho desfigurado em terra como bandeira nacional não oficial. Tornou-se tão popular que, em outubro de 1967, as autoridades britânicas finalmente deram sanção legal para o seu uso. Os navios do governo das Bermudas usam um alferes azul britânico desfigurado com o emblema da bandeira.