Chalom
Ceci dépend beaucoup de plusieurs facteurs. En particulier de l'état de santé du bébé.
Dans votre cas où le bébé est petit (2 mois) et où il n'est exclusivement nourri que de sa maman, et qu'on ne lui a encore jamais donné de substitut au lait maternel, il y a de grandes raisons de faire particulièrement attention.
L'idéal serait de tirer du lait avant le 9 Av et de le conserver au congélateur de sorte à ce que le bébé ne manque de rien le jour du 9 Av.
Si vous n'avez pas réussi à le faire, commencez à jeûner et voyez comment le bébé supporte cette journée. S'il se plaint du fait que vous n'avez pas assez de lait, il vous sera alors possible, d'après de nombreux Décisionnaires de boire pour avoir un bon lait.
Si vous savez explicitement que le fait de jeûner risque d'interrompre votre allaitement, ce qui est très rare au passage, il est possible de tenir compte aussi de cela.
Il est important de préciser que dans chaque cas il convient de poser la question à son Rav vu que cette loi dépend beaucoup du cas par cas.
Cf aussi
http://www.espacetorah.com/rabbin/37/4510.
Ce cours vous donnera quelques notions importantes à ce sujet.
Je précise aussi qu'avant Kippour, il faut davantage faire attention et ne pas hésiter à consulter son Rav avant ce jour sublime.
Kol touv.