Quiberon, De la côte sauvage au port de pêche