Hương Quế là một ngôi làng trù phú, ra đời khá sớm ở tỉnh Quảng Nam. Làng thuộc Ngũ Hương năm làng gồm: Hương Lư, Hương An, Hương Quế, Hương Lộc, Hương Yên. Làng nằm chính giữa cung đường đi ngang xã Xuân Phú thành phố Đà Nẵng. Phía Bắc giáp làng Mộc Bài, Mông Nghệ. Phía Đông giáp Đồng Tràm. Phía Nam giáp Hương An. Phía Tây giáp Xuân Lư.
Theo gia phả dòng họ Phạm và các tư liệu lịch sử cho thấy, từ đầu thế kỷ 15, người họ Phạm từ phía Bắc đã vào định cư ở đất Thăng Hoa (nay là thành phố Đà Nẵng). Phạm Nhữ Dực là đời thứ nhất đến định cư tại đây. Ông là con thứ năm của Cao Triệu tổ Phạm Ngũ Lão. Ông làm quan dưới triều Trần Thuận Tông (Hiệu Quang Thái I) và được phong là Hậu quân Trung Độ, Dực Nghĩa Hầu. Năm Canh Thìn 1400, Hồ Quý Ly cướp ngôi nhà Trần. Ông định đem binh hồi triều vấn tội. Nhưng Hồ Quý Ly khôn khéo, triệu ông về kinh phong chức và khiến đem quân đánh Chiêm Thành, thực hiện công cuộc mở rộng biên cương, di dân Nam tiến. Ông biết thế lực của Hồ Quý Ly đang mạnh, chống lại chưa có lợi. Nhân dịp vua Chiêm là Ba Đích đem quân cướp phá Hóa Châu, ông vâng chiếu chỉ đem quân đi phạt Chiêm.
Có thể thấy, về mặt nhà nước thì danh tướng Phạm Nhữ Dực là người tổ chức hệ thống chính quyền đầu tiên vùng đất Quảng Nam trong lịch sử Đại Việt. Hồ Hán Thương phong ông là “Hậu quân Trung Đô Nam Dinh Vũ trấn - Dực nghĩa hầu”.
Đến đời cháu nội của ông là Phạm Nhữ Tăng cũng có không ít công lao cho vùng đất này. Phạm Nhữ Tăng sinh năm 1422. Ông là con trai của Phạm Nhữ Dự, người có công giúp Lê Lợi đánh đuổi quân Minh. Ông thi đỗ đệ nhị Điện hoằng Từ khoa, được phong làm Thái bảo, kiêm Tri quân Dân chính Sự vụ vào năm Đại Hòa thứ ba (1445) triều vua Lê Nhân Tông. Năm 1460, ông là Nghĩa sĩ tham gia xướng nghĩa cùng các trung thần Nguyễn Xí, Lê Quyết Trung, Lê Nhân Thuận, Lê Niệm, Đinh Liệt… dẹp hàng trăm loạn đảng, phế truất Lê Nghi Dân, rước Lê Thánh Tông lên ngôi vua. Trong thời gian giữ chức Đô ty Quảng Nam, Phạm Nhữ Tăng tập trung cho việc phát triển phủ Thăng Hoa, cho lập “địa bạ” để quản lý ruộng đất. Ngoài ra, ông cùng các bậc tiền bối của các tộc họ Nguyễn, Trần, Lê khai khẩn, tạo lập Ngũ Hương gồm năm làng như kể trên.
Sau khi ông qua đời, vua Lê Thánh Tông lấy làm thương tiếc, bèn hạ chiếu ghi rằng: “Khanh là người có công mở mang bờ cõi, phục vụ ba triều, đã vì triều đình coi trọng, vì đất nước an nguy. Song khanh số sống đã tận, sức cùng không chữa được, thọ bệnh mà chết, ta đây lòng không yên. Khanh khi sống vì nghĩa mà vô tư, vì nước mà ra sức. Ta đối với khanh rất nặng tình, sáu năm yêu nước mến vua, nếm mật nằm gai, con cháu ngày sau thừa hưởng”. Thi hài Phạm Nhữ Tăng được an táng tại thành Trường Xà, cách thành Đồ Bàn khoảng 6km về phía tây. Sáu tháng sau, vua cho dời hài cốt ông về làng Hương Quế, nơi quy tụ của dòng họ Phạm từ nhiều đời. Có thể nói dòng họ Phạm đã có không ít công lao đóng góp vào lịch sử mở cõi ở đất Xuân Phú nói riêng và Đà Nẵng nói chung.
Hiện nay, họ Phạm có một ngôi nhà thờ họ tại thôn Hương Lộc, xã Xuân Phú, được xây dựng từ thế kỷ 16 dưới thời Hồng Đức. Ngôi nhà thờ nép mình dưới những tàng cây cổ thụ, nằm giữa đồng lúa rộng. Nhà thờ tộc Phạm là một công trình đặc biệt đã được xếp hạng di tích cấp tỉnh và được xem là một trong những công trình kiến trúc cổ nhất trên địa bàn thành phố Đà Nẵng. Ngôi nhà thờ được xây dựng theo bố cục một gian, hai chái. Mái lợp ngói âm dương, bờ nóc trang trí “Lưỡng long tranh châu”. Các bờ mái trang trí chim phượng và hoa lá cuốn cách điệu. Ngoài việc thờ cúng tổ tiên, nơi đây còn lưu giữ gia phả tộc họ và sáu tờ sắc phong từ các đời chúa Nguyễn, vua Lê; trong đó có đại ấn "Đế mạng chi bửu" của vua Lê Thánh Tông và "Chế mạng chi bửu" của vua Lê Thần Tông ban tặng cách đây gần 6 thế kỷ. Tất cả vẫn còn nguyên vẹn, được bảo vệ cẩn thận từ nhiều thế hệ.
Di tích Nhà thờ tộc Phạm và Ba Miếu thờ
Đặc biệt, trong khuôn viên nhà thờ có ba miếu cổ thờ các vị: Thánh mẫu Thiên y Ana, bò thần Nandin và một bia ký khắc chữ Chăm-Pa cao khoảng 1,7m, rộng khoảng 0,9m”. Theo tìm hiểu, bò thần Nandin còn có tên khác là Kapin hoặc Kapil. Tượng bò ở tư thế nằm được tạc từ chất liệu đá đặc biệt, có người cho rằng là thiên thạch. Ngoài hai tròn, bò Nandin còn có con mắt thứ ba giữa trán. Theo quan niệm của người xưa, con mắt này gọi là thiên nhãn phát ra những phép thuật nhiệm mầu và là mối liên kết giữa con người và thần linh. Theo quan niệm của người Chăm, bò Nandin là bò đực và là vật cỡi của thần Siva. Có thể thấy, ba miếu thờ là bằng chứng về mối giao lưu văn hóa, tín ngưỡng và quá trình cộng cư của hai dân tộc Việt - Chăm trong lịch sử một cách sinh động.
Với các đặc điểm kiến trúc và công trình tín ngưỡng đặc thù, nhà thờ tộc Phạm và ba miếu thờ đã được công nhận là di tích lịch sử cấp tỉnh vào năm 2007.