Такой способ тестирования отвечает на принципиальный вопрос «Что лучше прямо сейчас?», но отмалчивается на более важный вопрос «Почему это так работает?».
Собственно, почему один вариант выиграл у другого? И что выбрать в следующий раз? Сколько ещё играть в эти гадания? А эти версии правда проведут нас по самому лёгкому пути к лучшему в мире продукту? И стоит ли всю свою работу составлять из таких разнородных и мелких кусков?