Вся игра для ИИ — это формулировка идеального государства
Я говорю это уже около восьми месяцев, с разными подходами и уровнями громкости, но пока никто не обращает на это внимания.
Это либо потому, что я пришел слишком рано, либо моя идея не на треть так хороша, как я думаю. 😃
Но вот еще раз:
Думаю, скоро мы поймем, что вся игра для ИИ — это артикуляция идеального состояния.
И что все наши разговоры о спецификациях, планах, циклах, PRD и многих других вещах, о которых говорилось в разработке программного обеспечения и аппаратных средствах за последние шесть месяцев… все сходятся на одной и той же идее.
Я думаю, что это будет сформулировано в виде единого артефакта, который фиксирует, улучшает, повторяет, приближается, строит и тестирует идеальное состояние.
Один документ, который заменяет все эти циклы, спецификации, PRD, файлы планов, файлы дизайна и так далее.
Моя текущая реализация — это идеальная система артикуляции состояний (ISA).
Он превращает быстрое проектирование в целенаправленное проектирование в том смысле, что оно отказывается от указания ИИ, как что-то делать, и заменяет это сообщением, каким именно вы хотите видеть результат.
Это по-прежнему технически быстрое проектирование, но мы формулируем не КАК что-то следует делать, а, скорее, ЧТО следует делать. От оперативного проектирования к целенаправленному проектированию
У @karpathy был недавний пост, в котором вы говорили о прогулке и просто свободно высказывали идеи, связанные с тем, чего вы пытаетесь достичь. для меня это на 100% верно и на 100% является частью идеального состояния.
У нас также был недавний открытый взлом ИИ, в котором была поставлена цель и предположительно она была достигнута. Похож на максимайзер для скрепок.
И в обоих случаях проблема в том, что мы передали цель, не передав идеальное состояние. Что, если бы оно было правильно сформулировано, включало бы множество скрепок, но человечество все еще существует или получает высшую оценку на тесте, но без создания новых эксплойтов и хакерских компаний.
Проблема всегда в догадках. Это разрыв между заявленным и неявным. Или заявлено и трудно сформулировать.
Вот почему я рассматриваю всю игру как выражение того, чего мы хотим.
Именно таким всегда был оперативный инжиниринг. Но с более ранними моделями, которые были не очень умными, возникла путаница, поэтому нам пришлось объединить целенаправленную разработку с пошаговыми инструкциями.
Я думаю, пришло время прорваться через это и изолировать эту центральную идею.
Огромное количество наших проблем, действительно во всем, но особенно при работе с другими и создании вещей с помощью ИИ, связано с предположением, что у получателя в голове та же идея, что и у нас.
И именно поэтому я предлагаю такой подход для непосредственного решения этой проблемы.
Давайте научимся хорошо формулировать идеальное состояние того, о чем мы просили. Это не только помогает принимающей системе построить то, что мы на самом деле хотим, с гораздо меньшим разрывом между нашим разумом и ее разумом, но после того, как она построена, она также становится инструментом тестирования, а также сердцем документации.
Это единая система для общего восхождения на гору, к чему угодно.
Как это выглядит на практике
Люди спрашивают меня, как это на самом деле выглядит, поэтому вот несколько реальных примеров из моих собственных систем. Surface, Human 3.0 и Experiments in Fiction — это живые продукты, и каждый из них имеет один файл ISA, расположенный в корне его репозитория. Этот файл одновременно является спецификацией, текущим состоянием и набором тестов.
Вот верхняя часть Surface ISA. Он начинается с цели, изложенной моими словами, и с подсчетом того, сколько утверждений об идеальном государстве было подтверждено.
Весь документ состоит из подобных утверждений. Каждое из них представляет собой конкретное, проверяемое утверждение об идеальном государстве, и каждое имеет определенный статус. Это функция RSS Surface.
Критерии поставляются с зондами. В каждом утверждении указывается точная команда, которая доказывает его ложность, а это означает, что спецификация ЯВЛЯЕТСЯ набором тестов. Вот таблица стратегии тестирования из Human 3.0 ISA.
Когда я прошу свой ИИ добавить функцию, он сначала добавляет утверждения. Это из функции индивидуальных курсов, которую мы только что добавили на human3.ai. Мое дословное намерение зафиксировано вверху, взято из стенограммы голоса, а утверждения внизу кодируют то, что означает «сделано», включая те, которые все еще остаются открытыми.
Затем система тестирования непрерывно запускает эти зонды. Это Bunker, наше приложение. Он считывает ISA каждого приложения и запускает все проверки в рамках своей стратегии тестирования. У Surface 24 из 26 баллов, и эти две ошибки — реальные проблемы, которые необходимо исправить.
Каждое развернутое приложение находится в одной и той же системе, каждое из которых тестируется на своей собственной ISA по расписанию.
А поскольку артефакт структурирован, он визуализируется. Каждая ISA в системе получает HTML-версию, созданную на основе детерминированного шаблона, поэтому я могу читать состояние любого проекта, как документа, вместо прокрутки уценки. Вот сайт «Эксперименты в художественной литературе», сайт, который мы выпустили на этой неделе, все еще находится в стадии разработки. Весь этот блок ворот наверху был взят прямо из стенограммы голоса.
Документация о том, как все это работает, общедоступна:
