Hình thành bởi quá trình bồi lấp hàng ngàn năm của phù sa sông Mã, lại có sông Cầu Chày chảy qua, theo sử liệu, làng Việt cổ Kẻ Phấng có từ thời các vua Hùng. Thời bấy giờ, Kẻ Phấng cư dân thưa thớt, mưu sinh chủ yếu với nghề chài lưới và khai khẩn đất đai cồn bãi ven sông để trồng trọt. Đến thời Trần, nơi đây đã phát triển trở thành làng quê trù phú, đông đúc.