Výjimečné postavení Bydžova dokládá i původně románský kostel zasvěcený sv. Prokopu. Obdélná stavba se typově hlásí do první poloviny 13. století, ale není vyloučen ještě ranější vznik s jiným zasvěcením.