Dân gian thường truyền tụng câu 'vắng tanh như chùa Bà Đanh' để chỉ sự vắng vẻ, tuy nhiên, ít người biết đến địa danh được nhắc trong câu thành ngữ này.