Une histoire raconte l'origine de la couleur dorée de la plage. Autrefois, il y avait ici au lieu du petit îlot St-Michel une grande île où poussaient tous les fruits des côtes de France. On l'appelait l'île d'amour. Toutes les douceurs y étaient assemblées et tous les trésors. Un jour, un beau guerrier séduisit la fille du seigneur des lieux et quand leurs lèvres se touchèrent, un tremblement ébranla toute l'île qui fut engloutie aussitôt sous les flots, et ses trésors répandus dans la mer. Frottés par les courants comme des galets, les lingots se transformèrent en sable pour former la plage de Sables d'Or.
La flèche dunaire de Sables-d'Or qui barre partiellement l'estuaire est une formation en perpétuelle évolution : le flot des marées et les vents dominants provoquent une dérive régulière du sable de la plage vers la pointe déplaçant petit à petit le cours de l'Islet contre la falaise des Hôpitaux à l'ouest.