Дело еще в том, что варвары не способны захватить город, вот они и кажутся еще менее опасными, чем есть. Но действительно проблема, они часто не только не опасны, но еще и полезны - деньги, рабочие. Опасность от варваров есть только в самом начале, когда рабочий уже построил что-то, что варвар может уничтожить, а военного юнита еще нету.