Trần Khánh Dư quê ở Chí Linh, Hải Dương. Cha ông là Thượng tướng Nhân Huệ Hầu Trần Phó Duyệt thuộc tôn thất nhà Trần. Ông được hưởng tước Hầu từ người cha của mình. Sau này, khi được vua Trần Thánh Tông nhận làm con nuôi ông mới hưởng tước Nhân Huệ Vương.

Trần Khánh Dư nổi tiếng với tài cầm quân. Những đóng góp trong 3 cuộc kháng chiến chống quân Nguyên Mông khiến cho tên tuổi của ông trở nên bất diệt.

Trong cuộc kháng chiến lần thứ nhất, Trần Khánh Dư mới 16 tuổi đã dũng cảm tập hợp gia binh, bất ngờ tập kích vào trại giặc. Đốt phá kho lương thảo, xông vào trại ngựa khiến chúng tháo chạy toán loạn... Trần Khánh Dư cùng gia binh đã không chỉ góp phần tiêu hao sinh lực mà còn tạo mối lo sợ, khủng hoảng tinh thần cho quân xâm lược.

Năm 1285, quân Nguyên Mông lại sang xâm lược nước ta lần thứ hai. Lần này chúng chuẩn bị chu đáo hơn, huy động lực lượng lớn hơn. Ngoài lực lượng phía Bắc tiến xuống, còn thủy quân từ Chiêm Thành tiến lên. Quân Nguyên Mông nhanh chóng giành lợi thế, triều đình nhà Trần đành rút lui theo đường sông Hồng xuôi về hướng Đông.

Đến bến Bình Than thì vua Trần Thánh Tông gặp Trần Khánh Dư- lúc này đã bị bãi bỏ mọi chức quan, bổng lộc về làm người bán than. Khi vua hỏi việc chuẩn bị kháng chiến nên công thế nào, thủ ra sao, xây dựng lực lượng bảo vệ bố phòng thế nào… Trần Khánh Dư đã đưa ra những ý kiến rất sắc sảo, hợp ý vua và Hưng Đạo Vương Trần Quốc Tuấn nên được vua cho phục chức, rồi phong Phó Đô tướng quân giữ trọng trách bảo vệ cửa khẩu Vân Đồn. Ông cũng được giao toàn quyền quyết định đến an ninh của Vân Đồn cổ, tức là vùng biển Quan Lạn ngày nay.

Theo TS Nguyễn Hữu Tâm, ngày 30/12/1287 thủy quân Nguyên Mông do Ô Mã Nhi cùng 650 chiến thuyền đánh vào Vân Đồn. Trần Khánh Dư khi đó chỉ có 100 chiến thuyền nên không chống đỡ nổi, thất bại nhanh chóng.

"Khi nhà vua quyết định gọi ông về hỏi tội thì ông nói với người trung sứ, tức là người truyền đạt mệnh lệnh của nhà vua rằng: trung sứ hãy về báo với nhà vua tôi sẽ chịu tội nhưng cho tôi chịu tội sau và dành cho tôi 3 ngày để có thể lập lại chiến công. Trung sứ cũng biết Trần Khánh Dư là người tài giỏi nên chấp nhận. Và quả thật khi Trương Văn Hổ với tư tưởng chủ quan khinh địch nghĩ rằng đoàn thuyền trước mình đi đã thắng lợi rồi thì đoàn này đi cũng không có gì đáng lo ngại nên sinh chủ quan. Trần Khánh Dư đã tập trung ở Cửa Lục và đánh thắng đoàn thủy binh đó. Cuối cùng Trương Văn Hổ phải thả tất cả lương thực trên mấy chục con thuyền xuống sông để trốn thoát".

Chiến thắng Vân Đồn năm 1288 không những đưa tên tuổi Trần Khánh Dư vào hàng các danh tướng giỏi nhất trong lịch sử nước nhà mà còn mang ý nghĩa lớn đối với toàn bộ thắng lợi trong cuộc kháng chiến lần 3 chống quân Nguyên Mông của quân và dân triều Trần.

Tài thao lược của Trần Khánh Dư đã được khẳng định qua các chiến thắng mà đỉnh cao là trận Vân Đồn, nhưng vị tướng tài ba này còn được biết đến với cả tài văn chương. Ông là người viết lời tựa cho cuốn “Vạn Kiếp tông bí truyền thư”, một tác phẩm về nghệ thuật quân sự của Hưng Đạo Vương Trần Quốc Tuấn. Đây cũng là tác phẩm còn lại duy nhất của Trần Khánh Dư.

Ông đọc nhiều, hiểu sâu về kinh điển quân sự và bài tựa đó cũng đủ để xếp Trần Khánh Dư ngang hàng với những người viết Binh thư yếu lược, những người viết văn kinh điển ở Việt Nam.

Tổng kết cuộc đời binh lược của ông, sử gia Ngô Thì Sĩ viết “Khánh Dư làm tướng có công đánh giặc Nguyên, trải 4 triều vua, ngoài Hưng Đạo Vương Trần Quốc Tuấn ra có thể so sánh với Chiêu Văn Vương Trần Nhật Duật”.

Để tưởng nhớ và ghi nhận công lao to lớn của Trần Khánh Dư, người dân địa phương đã tôn ông làm Thành hoàng và thờ tại đình Quan Lạn (Quảng Ninh).

Mời nghe âm thanh tại đây: