Năm 1862, tức 3 năm sau khi đánh chiếm Nam Bộ, thực dân Pháp đã cho xây dựng ngọn hải đăng đầu tiên ở Việt Nam trên núi Nhỏ (tại độ cao 149m). Cuối Núi Nhỏ về phía Nam là mũi Nghinh Phong. Trước đây, dân Vũng Tàu gọi mũi Nghinh Phong là Ô Quắn. Như cánh tay dài vươn ra biển, ôm bãi Vọng Nguyệt phía Đông và Hương Phong (bãi Dứa) phía Tây, quanh năm Nghinh Phong đón gió. Cách mũi Nghinh Phong không xa về phía Đông là Hòn Bà - tên gọi gắn với điện thờ trên đảo. Cũng như nhiều địa danh khác ở Vũng Tàu dù trước đó đã có tên Việt, Hòn Bà đã từng được người Pháp đặt cho cái tên Ile d' Archinard, vốn là tên một viên tướng trong quân đội viễn chinh. Mũi Nghinh Phong, Hòn Bà tạo cho cảnh quan núi Nhỏ thêm kỳ thú. Núi Lớn, núi Nhỏ còn bảo tồn nhiều di tích lịch sử văn hóa như phòng tuyến trận địa pháo của Pháp, Hải đăng Vũng Tàu, Hầm thủy lôi của quân đội Nhật trong chiến tranh thế giới thứ 2, đài ăngten parabol của quân đội Mỹ, Tượng chúa Kitô, một trong những công trình điêu khắc về Đức chúa trời cao nhất thế giới và rất nhiều đền, chùa . . .

Về truyền thuyết Núi Nhỏ mang tên gọi là Tao Phùng có câu chuyện: Vào thời xa xưa, công chúa con vua Thuỷ Tề hoá thành con cá vàng đi chơi không may sa vào lưới của người trai làng chài. Thấy cá đẹp, người con trai mang cá lên núi, khoét đá thành một vũng nước cho cá vào nuôi. Một hôm ở biển về, anh không thấy cá mà chỉ thấy núi đầy hoa trái, chim cá, đang còn bỡ ngỡ, bỗng từ trong núi thiếu nữ đi ra nói rõ sự tình. Từ đó họ thành vợ chồng. Cuộc sống đang đầm ấm yên vui thì một ngày kia đang tiết thu, trời trong mây nhẹ, hai vợ chồng đang ngồi ăn cơm thì thấy có người đi ở ngoài vào tay cầm hộp ngọc sáng chói. Thấy vậy người vợ bỗng hoảng hốt chưa kịp đứng dậy thì người khách đã đưa hộp ngọc ra, sấm chớp nổi lên và lập tức người vợ bị thu vào trong hộp ngọc. Người chồng đau đớn van xin cho vợ được tha, nhưng không được. Trong hộp người vợ đã biến thành con cá vàng hai mắt đẩm lệ nhìn ra.

Từ đó, cứ năm năm một lần cá vàng được ra gặp chồng. Núi Nhỏ là nơi gặp gỡ của cặp vợ chồng nên người đời gọi là núi Tao Phùng.

Theo đường vòng Núi Nhỏ (đường Hạ Long) chạy từ Bãi Trước qua Bãi Ô Quắn, Bãi Dứa, đến Mũi Nghinh Phong và ra Bãi Sau dài 6km. Đường mới, rộng, đẹp. Hai bên đường có nhiều điểm du lịch hấp dẫn như Bãi Trước, chùa Niết Bàn Tịnh Xá, Tượng Chúa Kitô, Hòn Bà.