Men en del av kananéerna innehade ännu en befäst ställning på Sions och Moria Berg, och hebréerna måste driva bort dessa, innan de kunde komma i besittning av platsen. Detta bergfäste kallades för Jebus och dess invånare för jebuséer. Jebus hade under många århundraden ansetts för ointagligt; men det belägrades och intogs av hebréerna under Joabs befäl. Som tack för sin tapperhet, blev han utnämnd till överbefälhavare över Israels här. Jebus blev nu rikets huvudstad, och dess hedniska namn förändrades till Jerusalem.