Ngôi đền Cô Tiên nằm trên đỉnh hòn Đầu Voi cuối dãy núi Trường Lệ về phía Tây Nam. Hòn đầu voi là hòn thứ năm trong hệ thống phân loại dân gian. Nó có tên chữ là “Tượng Đầu Sơn” cũng có nghĩa núi Đầu Voi, vì dãy núi Trường Lệ đang chạy dài đến chỗ này chợt nhô ra một hòn hình dáng như đầu con voi đang cúi mình uống nước.