Trong nhiều thế kỷ, người Nhật đã tạo nên một mối liên kết tâm linh với ngọn núi này. Truyền thuyết kể rằng nhà tu khổ hạnh nổi danh Hasegawa Kakugyo (1541–1646) đã leo lên đỉnh núi hơn 100 lần. Thành tích này của ông đã dẫn đến sự hình thành Fuji-ko, một nhóm những người tôn thờ Núi Phú Sĩ. Giáo phái này đã xây dựng các đền thờ, tạo ra các tượng đài đá và nhịn ăn để thể hiện sự tôn thờ của họ. Lòng trung thành đến mức cuồng tín của họ cuối cùng đã khiến Mạc phủ Tokugawa cấm tín ngưỡng này, dù vậy, truyền thống thờ phụng ngọn núi lâu đời này của Nhật Bản đã giữ cho ngọn núi vẫn được sùng bái và tôn kính như một địa điểm tâm linh quan trọng.

Khoảng tử 200.000 đến 300.000 người leo lên Núi Phú Sĩ vào mỗi mùa hè. Leo đỉnh núi thường phổ biến nhất vào lúc bình minh – những người leo núi thường bắt đầu leo từ ngày hôm trước và nghỉ qua đêm tại một khu vực nghỉ ngơi trên núi, trước khi khởi hành sớm vào sáng hôm sau để kịp ngắm mặt trời nhô lên khỏi đường chân trời. Trong thời tiền hiện đại, Núi Phú Sĩ là một nơi khổ luyện cho các shugenja, những người hành trì Shugendo – một tín ngưỡng thờ núi cổ xưa, và ngay cả các tầng lớp thấp hơn cũng đã hành hương đến đây. Vô số đền thờ dưới chân núi là một minh chứng cho ý nghĩa lịch sử và tâm linh của Núi Phú Sĩ.

Những hình ảnh mang tính biểu tượng nhất của Núi Phú Sĩ có từ thời Edo (1603–1867). Loạt tác phẩm mộc bản của họa sĩ Katsuhika Hokusai và Utagawa Hiroshige về núi Phú Sĩ.

Bức Tranh Núi Phú Sĩ nhìn từ Umegawa ở tỉnh Sagami.

Khắc họa ngọn núi từ nhiều góc nhìn và khung cảnh khác nhau, cho mọi người từ khắp nơi trên thế giới một cái nhìn thoáng qua về khu vực và địa thế của ngọn núi. Đặc biệt, Katsushika Hokusai được biết đến là người đã tạo ảnh hưởng đến họa sĩ phương tây Vincent Van Gogh và thậm chí tác động đến cả nhà soạn nhạc Claude Debussy. Cảnh sắc đẹp như tranh vẽ của Núi Phú Sĩ được phổ biến trong thời Edo đã giúp củng cố di sản của ngọn núi như một điểm thu hút toàn cầu.