Su nombre deriva del término nórdico Stafi-oy, con el que los vikingos la nombraban como Isla de Columnas.
De hecho, la peculiaridad de la isla está en las formaciones de basalto de origen volcánico que conforman su orografía.
El origen de la isla de Staffa se remonta a 60 millones de años, al solidificarse de manera precipitada la lava procedente de la explosión de un cráter durante la actividad volcánica que comprometía la zona ocupada por Irlanda, Escocia, Islandia y Groenlandia.
Staffa está orográficamente relacionada con la Calzada de los Gigantes, en el norte de Irlanda, además, existen leyendas populares que las enlazan.
La entrada a la cueva está flanqueada por paredes de esbeltas columnas de basalto que le dan el aspecto de una majestuosa catedral del mar. En su interior, las columnas de basalto, coloreadas por la acción del agua, forman terrazas que permiten el acceso a buena parte de la gruta.
No es la única referencia cultural a la cueva, el pintor Turner la retrata en uno de sus cuadros, tras un viaje por tierras escocesas; Walter Scott y Julio Verne, también hacen referencias a la Cueva de Finga;, incluso el grupo musical Pink Floyd titula con este nombre a una de sus primeras canciones.