La coutume est de ne pas faire le kidoush levana à shabbat, toutes sortes de raisons étranges ont été avancées à ce sujet -voir:
Minhaguei Maaril (fin shavouot),
Taz (§426),
Radbaz (IV, §1203) ,
Rema de Fano (shout §78),
Pri 'Hadash (§426),
'Hok Yaakov (§494, sk.2),
Shvout yaakov (III, §31),
Ben Ish 'Haï (année 2 Vayikra),
Les raisons présentées parlent de sortie imaginaire du t'houm (contre laquelle s'insurge le Rashba (IV, §44) que vous citiez), d'interdit de mélanger deux sma'hot (ein mearvin sim'ha bessim'ha), ou bien l'inverse, que birkat levana serait plutôt une supplique qui ne correspond pas à la joie de la fête, ou enfin pour des raisons kabbalistiques.
L'ensemble de ces raisons est assez sordide, chaque raison est plus farfelue que l'autre, à tel point que le Shaar Atsiyoun (§426, sk.12) considère que la raison qu'il donne est la raison "d'après le pshat":
Il dit que c'est de peur d'en arriver à danser, ce qui est prohibé le shabbat.
ça aussi c'est assez discutable, mais ça a au moins l'avantage d'être assez facilement envisageable.
Personnellement je n'aurais vu à l'origine de ce minhag que les ajouts tardifs qui sont venus se greffer au texte de base (cf. Sanhedrin 42b) imposant au fidèle de se munir d'un rituel pour réciter birkat alevana.
Ainsi, comme il est interdit de porter dans le domaine public et que birkat alevana doit se dire sous le ciel, on aurait pris l'habitude de ne pas dire birkat alevana le shabbat.
C'est un peu comme Tashli'h qui ne se dit pas le shabbat...
Cette explication ne justifiera pas de s'abstenir de birkat alevana à yom tov, mais elle me semble la meilleure de très loin. Je suis un peu étonné que les classiques n'y aient pas pensé, mais je suis certain qu'en cherchant un tout petit peu, on trouvera un a'haron qui m'a devancé.
Je n'ai pas le temps ce soir de commencer à chercher, mon shiour pour la nuit de demain soir n'est pas encore prêt...
Que ce soit pour la raison du Shaar Atsiyoun ou selon la mienne, en cas de besoin (si la date va passer) il sera autorisé de dire birkat alevana à shabbat en prenant garde de ne pas sortir avec un sidour dans la rue s'il n'y a pas de Erouv.
cf. Mishna Broura (§426, sk.12) et beaucoup d'autres.