Đình Quỳnh Sơn thuộc xã Bắc Quỳnh (trước đây là xã Quỳnh Sơn), huyện Bắc Sơn. Đình Quỳnh Sơn là nơi linh thiêng, thờ ông Dương Tự Minh, Ông là người có công lớn trong cuộc chinh chiến chống quân xâm lược nhà Tống, giữ vững vùng biên cương rộng lớn phía Bắc của nước Đại Việt hồi đầu thế kỷ thứ XII. Đồng thời ông cũng có công lớn trong việc giúp đồng bào nhân dân các dân tộc miền núi trong đó có Tổng Quỳnh (Bắc Quỳnh ngày nay), truyền dạy cho dân làng khai phá đất đai, trồng ngô khoai, cấy lúa, trồng dâu nuôi tằm, quay tơ dệt vải, dạy cho con gái biết thêu thùa, may vá, dạy cho con trai biết học chữ, biết săn thú bảo vệ mùa màng.

Tin cậy và ghi nhận công lao của ông,  năm 1127 vua Lý Nhân Tông đã gả cho ông công chúa Diên Bình, đến năm 1144 vua Lý Nhân Tông lại gả công chúa Thiều Dung cho ông. Như vậy ông được hai lần phong Phò mã. Ông được nhà Lý phong sắc “UY VIÊN ĐÔN TÍNH CAO SƠN QUẢNG ĐỘ CHI THẦN”, các đời sau đều ghi hiệu ông là “CAO SƠN QUÝ MINH, QUÝ MINH ĐẠI VƯƠNG”.

Để tôn vinh và tưởng nhớ công lao của ông, nhân dân đã lập đền thờ. Đình là di tích kiến trúc cổ theo kiểu đình làng truyền thống của người Việt. Cấu trúc gỗ hình chữ đinh, mái lợp ngói âm dương. Đây là nơi để nhân dân thờ cúng, sinh hoạt văn hóa tâm linh cầu nguyện sự giúp đỡ của thần thánh. Cũng từ Đình làng, nhân dân trong vùng đã tổ chức lễ hội đầu xuân để cầu may. Lễ hội được diễn ra từ 8 giờ ngày 12 tháng Giêng với các nghi lễ như: Lễ Khoán an, múa tán đàn trình thành hoàng và lễ rước kiệu ông Dương Tự Minh từ đình làng ra xứ đồng (ra ngoài đồng) để tham dự các trò chơi đánh cờ tiên “cờ tướng”; dự lễ Hạ điền “Lễ xuống đồng”.

Đình Quỳnh Sơn không chỉ là nơi thờ cúng của dân làng mà còn là điểm đến của du khách trong tỉnh và ngày càng thu hút du khách thập phương, thật sự trở thành một điểm đến trong hành trình du lịch tâm linh nơi cửa ngõ phía Bắc nước ta mang đậm bản sắc văn hóa dân tộc Lạng Sơn