Joab était, de même qu’Avichaï et ‘Assaèl, le fils de Tserouya, sœur de David (I Chroniques 2, 16). Il apparaît pour la première fois dans le texte biblique lors des combats qui ont opposé, au réservoir de Guiv‘on, l’armée de David à celle d’Abner, général en chef de l’armée de Saül.
C’est lors de la conquête de Jérusalem que Joab s’est distingué pour la première fois, ce qui lui a fait mériter sa nomination comme général en chef des armées de David (I Chroniques 11, 6).
Joab a toujours témoigné une loyauté totale envers son roi, allant jusqu’à attribuer à celui-ci le mérite d’une victoire qu’il avait pourtant remportée lui-même (II Samuel 12, 28).
Il a également pris une part active dans la répression des révoltes contre David, telles celle de Chéva’ ben Bikhri et celle d’Absalon.
Sa gloire a cependant été quelque peu ternie lorsqu’il a tué Abner, transgressant ainsi le pacte que celui-ci avait conclu avec David, dans lequel il avait promis à celui-ci de rallier à son trône les partisans de la maison de Saül. Ce meurtre, qui lui a permis d’écarter un rival possible, ainsi que celui d’Absalon, commis en désobéissance des ordres de David, ont été à l’origine de sa disgrâce.
Avant la mort de David, il a apporté son soutien à Adoniya (I Rois 1, 7), ce qui lui a valu le ressentiment de son roi. Celui-ci ordonna à son fils Salomon de venger la mort « d’Abner et d’Amassa, qu’il avait tués en temps de paix » (I Rois 2, 5 et 6), et celui-ci le fit mettre à mort après être monté sur le trône (I Rois 2, 28 et suivants).