Из всего, что я прочитал, лучшая попытка, на мой взгляд, принадлежит Элиэзеру Юдковскому. Он назвал это Когерентной Экстраполированной Волей. Перед ИИ будет стоять следующая цель:
“Наша когерентная экстраполированная воля — это наше желание знать больше, думать быстрее, оставаться в большей степени людьми, чем мы были, стать ближе друг к другу, где наши мысли больше сближают, чем разделяют; где наши желания совпадают, а не пересекаются; получать такие результаты, которые мы бы хотели получать, толковать таким образом, каким мы бы хотели, чтобы это было истолковано”