První zpráva o hrádku pochází z roku 1391, kdy Berka z Dubé na Housce rozdělil pro své tři starší syny část majetku. Pro sebe a mladší syny si ponechal Housku, Chudý Hrádek, Milčany a Frýdlant. Hrádek najdeme nad soutokem potoků, které protékají skalnatými údolími od obcí Drchlavy a Dřevčic. Místo bylo dobře strategicky zvoleno, protože přístup k němu byl pouze z jižní strany, kde byl Hrádek chráněn ještě dlouhým obloukovitým valem dlouhým 150 m a vysokým 4 metry.