Při vkladu Kostelce roku 1547 Přemkovi z Víckova uvádějí Bohunka, Barbora a Eliška z Kostelce také sídlo, na kterém jejich otec Oldřich z Kostelce sídlil. Feudální sídlo vladyckého rodu muselo existovat již od 13. století, kdy se jmenuje Mikuláš z Kostelce. V katastru obce se nachází vrch 'Hrádek', asi 1 km severovýchodně od obce. Tam byly nalezeny střepy středověké keramiky, meč a mince.