Так ведь это друзья вашего мужа, а не ваши, вы и не должны с ними дружить. Ваше дело поздороваться при встрече и всё на этом, абстрагируйтесь.

У моего мужа тоже несколько компаний, есть пара друзей, которых я в силу кое-каких причин недолюбливаю, но я осознаю, что это нормально - все люди разные, кому-то не нравлюсь я, кто-то не нравится мне. Главное они не влияют отрицательно на моего супруга, поэтому я ничего не говорю и отношусь к ним нейтрально.