Men til og med denne kjærligheten skulle bli årsak til sorg og vanskeligheter. Jakob var uklok nok til å vise sin forkjærlighet for Josef, og derte vakre misunnelse hos de andre sønnene. Josef var meget bekymret over brødrenes atferd. Han våget seg til å irettesette dem på en vennlig måte, men det økte bare haret og uviljen mot ham. Han kunne ikke holde ut å se at de syndet mot Gud, og han betrodde seg til faren i håp om at hans myndighet kunne få dem på bedre tanker.