地球上分散在各处含有铁的岩石，风化崩解，里面的铁也被氧化，这些氧化铁溶解或悬浮在水中，随着水的流动，逐渐沉淀堆积在水下，成为铁比较集中的矿层，在整个聚集过程中，许多生物起着积极的作用。铁矿层形成后，再经过多次变化，譬如地壳中的高温高压作用，有时还有含矿物质多的热液参加进来，使这些沉积而成的铁矿或含铁较多的岩石变质，造成规模很大的铁矿；这些经过变质的铁矿或含铁较多的岩石，还可以再经过风化，把铁进一步集中起来，造成含铁量很高的富铁矿。
还有些铁矿是岩浆活动造成的。岩浆在地下或地面附近冷却疑结时，可以分离出铁矿物，并在一定的部位集中起来；岩浆与周围岩石接触时，也可以相互作用，形成铁矿。