n-simplex внимание имеет невероятный смысл благодаря своей честности: оно буквально говорит, что вы можете выделить больше вычислительных ресурсов на операцию внимания, чтобы получить больше выгоды: мы видели эту тенденцию так много раз. Это отличается от множества 'подозрительных' утверждений, таких как то, что вы можете использовать меньше вычислительных ресурсов для достижения аналогичных результатов (т.е. субквадратичные вычисления, чтобы соответствовать квадратичным вычислениям).
43,6K