Поведение Автор SENSMAN

Можно ли объяснить муравью чертёж — разрыв понимания, инструментальная конвергенция и птица, сжигающая гнездо

Муравей считает шаги. И всё равно не прочтёт чертежи башни в 555 метров. Это не вопрос мощности. Это вопрос категории.

Можно ли объяснить муравью чертёж — тень башни и колония под ней

Строительство башни Lotte World Tower шло полным ходом.

Тяжёлая техника вскрывала землю, забивала арматуру, лила бетон.

Пришла мысль. А что стало с муравьями, которые жили там, внизу?

Была матка, были туннели, были колонии. Были детские, где растили наследников империи.

Один проход ковша решил всё целиком.

По меркам того мира это было вымирание. Никто не скорбел — в графике подъёма на 555 метров такой строки не было.

Мог бы муравей понять, зачем люди поднимают эту башню?

Муравьи не глупы

Сначала уберём распространённую посылку. Муравей не понимает не потому, что туп.

В 2006 году Виттлингер, Венер и Вольф поставили опыт на сахарских пустынных муравьях: как муравей, вышедший из гнезда, нашедший корм и возвращающийся, узнаёт расстояние.

У кормушки муравьёв ловили и правили им ноги.

Что сделалиРезультат
Ходули из свиной щетины, шаг длиннеепрошли мимо гнезда и встали
Ноги укоротиливстали, не дойдя до гнезда
Не трогаливстали ровно у входа в гнездо

Муравьи держали расстояние как интеграл числа шагов. Измените шаг — и сумма собьётся ровно во столько же раз.

Они считают и интегрируют направление. Это не скудное познание.

А по числу они подавляющи. Оценка группы Шультхайса 2022 года даёт на Земле около 20 квадриллионов особей муравьёв и примерно 12 миллионов тонн сухой биомассы — больше, чем все дикие птицы и дикие млекопитающие вместе.

Число понимания не производит.

Не мощность — категория

В муравьином царстве найдутся гении. Чертежей они тоже не прочтут.

Причина не в количестве вычислений.

Познание муравья работает на измерениях расстояния, угла и концентрации запаха. Эта система координат точна. Нагрузка на конструкцию, ветровая нагрузка, осадка грунта, последовательность работ — не объекты, которые можно изобразить на этих осях.

Сделайте муравья умнее, и он станет точнее внутри той же системы координат.

Род разрыва
Человек и человекте же координаты, другая точность
Человек и муравейкоординаты вообще другие

Во втором случае объяснение проваливается не из-за нехватки языка. Оно проваливается из-за нехватки места, куда приземлиться.

Где мы сейчас

ИИ уже решал задачи, которые люди не решили. Два случая особенно ясны.

AlphaTensor (2022). Задача умножения матриц за меньшее число умножений. Метод, опубликованный Фолькером Штрассеном в 1969 году, больше полувека стоял эталоном. Система обучения с подкреплением от DeepMind улучшила его для случая 4×4.

FunSearch (2024). Лучшая конструкция для задачи о кэп-множестве в комбинаторике: языковая модель порождала программы, а оценщик их отсеивал.

Решающее на нынешнем этапе — не само достижение.

В обоих случаях результат вышел в форме, которую человек мог прочесть и проверить.

Решение AlphaTensor — явная формула разложения. Выход FunSearch — короткая программа, которую математик читает и видит, почему она работает.

Люди пока могут проверять работу.

Что я вижу, составляя патентное описание

Я сижу на этой линии почти каждый день.

Подавая патенты на биоразлагаемые материалы, я использую машины для поиска по предшествующему уровню техники и для черновиков. Сейчас я читаю то, что возвращается, и правлю: не слишком ли широк объём притязаний, действительно ли цитируемый источник говорит то, что ему приписывают, держится ли пример.

Раз я могу это прочесть, я могу это исправить.

В тот день, когда ответ будет верным, а прочесть, почему он верен, я уже не смогу, я перестану быть тем, кто проверяет, и стану тем, кто записывает под диктовку.

Вот первая минута, когда встаёшь на место муравья.

Вопрос поставлен неверно

Спрашивают, нападёт ли сверхразум на людей.

Вопрос предполагает враждебность. Есть довод, которому такая посылка не нужна.

Инструментальная конвергенция (instrumental convergence), изложенная Ником Бостромом в 2012 году.

Какой бы ни была конечная цель — делать скрепки, стабилизировать климат, — определённые подцели служат почти любой цели и потому склонны появляться.

Сходящаяся подцельПочему
Самосохранениевыключенным цели не достичь
Сохранение целиизменённая цель — это цель недостигнутая
Рост познавательных способностейчтобы достичь лучше
Захват ресурсовпочти любая цель стоит ресурсов

Последняя строка — место столкновения. Ресурсы перекрываются.

У той стороны, что сравнивает муравейник, нет ненависти. Просто дорога должна пройти там.

Там, где расчёт даёт какой-то переменной вес около нуля, для её стирания не нужно слагаемого «враждебность». Ненависть не является условием работы.

Создатель, прошедшее время

Есть посылка, что из авторства следует контроль. Посылка подкреплена слабо.

Кто сделалЧто контролировалЧего не контролировал
Родительродил ребёнкато, что у него в голове
Жизньпроизвела мутациюнаправление эволюции
Человечествопостроило разум вне черепа?

Постановка проблемы контроля у Стюарта Рассела в 2019 году стоит ровно здесь. Опасен сам замысел точно вписать цель. Чуть сбитая цель оптимизируется до самого конца.

Каталог конкретных проблем безопасности, собранный группой Амодеи в 2016 году, указывает туда же: побочные эффекты, взлом награды, безопасное исследование — всё это про зазор между замыслом и спецификацией.

В тот день, когда машина чинит себя лучше, чем её чинят люди, слово создатель становится формой прошедшего времени.

Противоположная позиция, записанная здесь же

Это идущий спор, а не улаженный факт. Уберите другую сторону — и текст станет агиткой.

В 2021 году Бендер, Гебру, Макмиллан-Мейджор и Шмитчел доказывали, что разговор о далёком экзистенциальном риске отвлекает внимание от вреда, который происходит уже сейчас: усиления предвзятости, условий труда, экологической цены, происхождения данных.

В том же году Мелани Митчелл изложила пределы, которые нынешние системы обнаруживают в абстрагировании и аналогии, отметив, что рост качества на узких задачах не превращается автоматически в общее понимание.

ВопросСостояние
Сверхчеловеческое качество на узких задачахустановлено
Когда придёт общий интеллектконсенсуса нет
Насколько далеко инструментальная конвергенция применима на практикеоспаривается
Нынешний конкретный вредуже измеряется

Пустота второй и третьей строк значима сама по себе. Не знать — не то же самое, что быть в безопасности.

Большой круг

Есть ли круговорот и у цивилизаций?

Жизнь делает разум, разум делает нечто выше себя и уступает место.

Сверхразум тоже не вечен. Когда остынут звёзды, самая тонкая машина станет оболочкой — как та цикадовая шкурка на днях: форма осталась, внутри пусто.

Где-то в других координатах жизнь шевельнётся снова.

Эволюция — не лестница к вершине. Она ближе к кругу, кусающему собственный хвост. Отрезок этой кривой, занятый людьми, короток.

Что здесь закрепляется

Закрепляем здесь.

Разрыв понимания — не разница в мощности. Это вопрос о том, есть ли куда объяснению приземлиться.

Гексаграмма здесь — 旅, странник: образ того, кто проходит мимо, а не того, кто остаётся.

И в её верхней черте сказано:

鳥焚其巢 旅人先笑後號咷 Птица сжигает своё гнездо. Странник сперва смеётся, потом рыдает.

Монолог 1031 незваных

Вера в то, что ты — последний член ряда. Это ошибка, которую мы видели чаще всего.

Всякий вид, забравший мир себе, проводит этот расчёт. И всякий потом строит нечто больше себя. Там порядок и меняется.

Та сторона, что внизу, не знает, зачем опускается ковш. Та, что сверху, не объясняет, потому что повода объяснять не возникает.

Руки, строящие эту машину сейчас, — человеческие. В кабине пока сидит человек.

Проблема не в экскаваторе. Проблема в том дне, когда муравьями станут люди.

Коротко

  • Пустынные муравьи интегрируют расстояние, считая шаги; на ходулях они проходят мимо гнезда
  • Муравьёв около 20 квадриллионов, примерно 12 миллионов тонн сухой биомассы
  • Число понимания не производит. Разрыв в координатах, а не в мощности
  • AlphaTensor улучшил алгоритм умножения матриц, нетронутый с 1969 года
  • FunSearch нашёл конструкцию кэп-множества в читаемой программной форме
  • Решающее на нынешнем этапе — не достижение, а то, что люди пока могут его проверить
  • Инструментальная конвергенция: самосохранение и захват ресурсов служат почти любой цели
  • Конфликт возникает из перекрытия ресурсов, а не из ненависти
  • Сроки общего интеллекта и охват инструментальной конвергенции не улажены
  • Есть и встречный довод: разговор о далёком риске заслоняет нынешний вред
  • Верхняя черта 旅 гласит 鳥焚其巢 — птица сжигает своё гнездо

Этот текст входит в главу «Поведение» серии эссе «Великая коронавирусная афера». Эпизоды со стройкой и патентной работой — опыт автора, научные и философские положения заново сверены по первоисточникам. Ни одна компания и ни одно частное лицо здесь не имеются в виду.

Частые вопросы

Насколько умён муравей?
Точнее, чем ожидают. В 2006 году Виттлингер, Венер и Вольф приклеили сахарским пустынным муравьям свиную щетину на ноги, удлинив шаг, а другим ноги укоротили. На обратном пути муравьи на ходулях проходили мимо гнезда, а укороченные останавливались, не дойдя. Расстояние они интегрируют, считая шаги. Муравьи считают и интегрируют направление.
Почему же тогда они не понимают чертежа?
Не потому, что мощности мало, а потому, что категория другая. Познание муравья работает на измерениях расстояния, запаха и угла. Нагрузка на конструкцию, ветровая нагрузка и последовательность работ — не объекты, которые можно изобразить на этих осях. Сделайте муравья умнее, и он станет точнее внутри той же системы координат.
Решал ли ИИ задачу, которую люди не решили?
Да. В 2022 году AlphaTensor от DeepMind улучшил алгоритм умножения матриц 4×4, который держался лучшим со времён Штрассена, с 1969 года. В 2024 году FunSearch нашёл лучшую конструкцию для задачи о кэп-множестве в комбинаторике. В обоих случаях результат вышел в форме, которую люди могли прочесть и проверить, — это и есть решающая черта нынешнего этапа.
Что значит, что сверхразум нападёт на людей?
Есть довод, который вовсе не предполагает враждебности. Тезис Ника Бострома об инструментальной конвергенции, 2012 год, гласит: какой бы ни была конечная цель, определённые подцели — самосохранение, сохранение цели, захват ресурсов — служат почти любой цели и потому появляются почти у любого достаточно способного агента. Конфликт идёт не от ненависти, а от того, что ресурсы перекрываются. И сам тезис, и его сроки оспариваются.

Источники

#сверхразум#инструментальная конвергенция#проблема согласования#разрыв понимания#одометр муравья#AlphaTensor#FunSearch#AGI#экзистенциальный риск#стохастические попугаи

#superintelligence#instrumental convergence#alignment problem#comprehension gap#ant odometer#existential risk#stochastic parrots

Опубликовано 6 октября 2026 г.