虎牢关早在春秋时便已经存在，到汉朝改虎牢为成皋，置成皋县，虎牢关也变成了成皋县城。这就是所谓的秦时为关、汉时乃县。

到了南北朝时期，或隋唐时期，又复置虎牢关。

另据唐代《元和郡县志》及明代《汜水县志》虎牢关与玄门关非同一座关卡，两关虽相去不远，但所处地理位置不同。而东汉时，玄门关在成皋县境内。