Il y a un problème de yi'houd.
Pour passer la nuit, il faut être TROIS hommes et encore ce n'est autorisé que selon le Rama (even haezer §XXII, 5) (voir Beth Shmouel §XXII, sk.9 et aussi Kitsour Shoul'han Aroukh §152, 3 et 'Hokhmat Adam §126, 5), mais si vous êtes sfarades, même s'il y a plusieurs hommes, il reste un problème de yi'houd (Shoul'han Aroukh Even haezer §XXII, 5) (sauf si l'un d'eux est le mari, le père ou le fils -assez grand- de la femme).
Ici les enfants en bas âge ne feront pas l'affaire (à moins qu'un d'eux ait déjà 5 ou 6 ans) et il est interdit de s'isoler avec cette femme.
Il est possible que pour le repas du vendredi soir ce soit encore permis SI vous êtes ashkenaze et SI vous avez l'intention de rentrer chez vous le soir même -car cela pourrait vous faire "bénéficier" du din du jour durant le repas, à l'instar du din du "soir" tant que n'est pas arrivée "l'heure à laquelle les gens se couchent" (cf. 'Hatam Sofer Even Haezer II, §96 et Panim Méirot II, 131), voir ce qu'en dit le 'Hidoushim oubiourim sur Kidoushin (§11, 8)
Et encore, tout ce din m'a l'air d'être une koula même pour les ashkenazim en considérant la particularité de la situation, au vu du statut de "libo gas ba" (et je ne parle pas du statut de "adam kasher" qui semble assez faible).
En tout cas, il est tout autant -voire plus- interdit à votre ami de se rendre chez son ex-femme (que vous y soyez ou non) tant qu'il n'y a pas d'autres invités.
En résumé:
Pour les sfaradim c'est interdit, il faut refuser l'invitation.
Pour les ashkenazim c'est délicat pour le repas et interdit pour la nuit.
(ce qui rend le repas encore plus délicat si en partant vous laissez votre ami en position de yi'houd total, mais quand bien même votre présence allègerait son infraction -ce qui n'est pas si évident- vous n'avez pas à fauter pour tenter d'alléger sa faute)
J'ai écrit ce qui me semble être le din, mais cela nécessite plus d'approfondissement.
Si j'ai un nouvel éclairage je tacherai de me souvenir de le poster ici b"n.