Воксельный движок, один месяц
Воксельный движок начался 16 октября в 08:51 с пустого репозитория: лицензия, дорожная карта и список бюджетов. Сегодня 16 ноября, ему ровно месяц, и он на версии 0.56.
До сих пор дневник выходил раз в несколько дней: день первый, дни со второго по шестой, с седьмого по двенадцатый и с тринадцатого по двадцать седьмой. Такой темп имел смысл, пока каждый день менял устройство движка. Теперь от дня ко дню он меняется меньше, поэтому дальше посты будут раз в месяц или раньше, если появится что-то интересное.
Как и раньше, весь код пишут агенты, а я решаю, что строить, и проверяю результат на экране. На это уходят все вечера и все выходные: минимум три-четыре часа в день, иногда до десяти. Все кадры и замеры ниже сняты на моём ноутбуке с RTX 3080 Laptop GPU и Ryzen 9, если не сказано другое. Движок делается вместе с первой игрой, но этот пост — только о движке.
Первый вечер и сегодня
Вечером первого дня я впервые записал экран. Пещера уже подгружалась вокруг камеры, рисовалась серыми кубиками, и светил в ней только налобный фонарь.
Через месяц в пещере светятся аметисты и руда. Свет в ней больше не мерцает. А по полу ходит паук из четырнадцати частей.
День первый и день тридцать второй
Обе записи — мои, с экрана оконной сборки. Слева: 16 октября, 20:41. Справа: 16 ноября, 16:41.
Обрезано из полноэкранных записей; у паука обрезана отладочная строка вверху окна.
Месяц в картинках
Слайдер листает месяц по картинкам из прошлых постов и сегодняшним записям. Под каждой картинкой — размер движка на эту дату: сколько в нём тестов и строк кода на Rust и в шейдерах.
Первый месяц движка
Листается сам, пока виден на экране; слайдер и кнопки его останавливают.






16 окт · первый день
Ограниченный мир, потом подгружаемый, под фонарём.
- тестов
- 115
- строк на Rust
- 13 200
- строк шейдеров
- 824
Показать числа
| Когда | тестов | строк на Rust | строк шейдеров |
|---|---|---|---|
| 16 окт · первый день | 115 | 13 200 | 824 |
| 20 окт · обрушение | 501 | 52 318 | 1 490 |
| 22 окт · свет | 646 | 74 144 | 4 050 |
| 28 окт · светящаяся порода | 724 | 85 484 | 6 237 |
| 11 ноя · ровный свет | 876 | 110 617 | 7 438 |
| 16 ноя · ходоки | 1 054 | 146 566 | 8 317 |
| 16 ноя · паук | 1 054 | 146 566 | 8 317 |
Тесты — функции #[test] на эту дату; строки — все строки файлов .rs и .wgsl, вместе с комментариями и тестами.
Месяц по датам
Когда что появилось.
- мир
- свет
- скорость
- существа
- 16 окт Пустой репозиторий в 08:51; ограниченный мир из кирпичей и чанков, который можно копать, в 15:20; подгружаемый мир с огрублёнными копиями вдали в 17:29
- 17 окт За одну ночь: коллизии и контроллер персонажа, импорт .vox, обрушение неподпёртой породы, сервер с журналом правок и повтором, игровая логика на WebAssembly, объёмный звук
- 19 окт Луч научился перескакивать пустоту по флажкам
- 20 окт Кирпичи хранятся в четыре раза компактнее, падающая порода давит то, на что падает, вид в разрезе, геймпад
- 22 окт Попиксельный свет, отражённый свет, сгенерированный готический замок
- 27–28 окт Апскейлер FSR 2 от AMD, адаптация глаза, зал-витрина 72 × 58 × 24 метра
- 29 окт – 11 ноя Свет, посчитанный заранее и сохранённый по чанкам, после двух недель мерцания 3 ноября простые кубики стали видом по умолчанию.
- 11–13 ноя Дальние пещеры больше не чёрные, пока для них считается свет; большие ускорения
- 15 ноя Шестнадцать динамических источников света; первый релиз со сборкой для тестеров
- 16 ноя Воксельные существа: ходоки, паук, анимация, записанная текстом, запись клипов, экран загрузки
Как движок видит
Всё в движке держится на одной идее — на обходе луча. Мир состоит из вокселей, кубиков по 10 см. Восемь на восемь на восемь вокселей — это кирпич, восемь на восемь на восемь кирпичей — чанк, 6,4 метра по стороне. Картинку GPU рисует так: из камеры через каждый пиксель пускает луч и ведёт его по этой сетке, пока он не упрётся в породу.
Идти воксель за вокселем было бы медленно: пещера в основном состоит из воздуха. Поэтому луч пересекает пустоту большими шагами, и каждый шаг начинается на границе блока своего размера. Пустой чанк — один шаг. Дальше группа два на два на два пустых кирпича, потом один пустой кирпич, потом пустые блоки по 4 и 2 вокселя внутри кирпича, где есть порода. По одному вокселю луч идёт только вплотную к породе.
Срез ниже делает то же самое в двух измерениях. Наведите на пещеру — лучи повернутся. Нажмите или проведите — выкопаете яму и увидите, как там, где породы больше нет, возвращаются большие шаги. Снимите галочку «пропускать пустоту», чтобы посмотреть на медленный обход.
Как луч идёт сквозь пустоту: срез мира в 2D
Наведите — лучи пойдут за курсором; нажмите или проведите — выкопаете яму. Квадраты — шаги луча: чем крупнее и темнее, тем больше пустоты пройдено за один шаг; оранжевые — шаги по одному вокселю.
- чанк 64
- 2×2 кирпича (16)
- пустой кирпич (8)
- блок 4 или 2
- один воксель
Двумерная модель shaders/walk.wgsl из движка: кирпич 8 вокселей, чанк 64. В движке то же самое в 3D, а дальние чанки он обходит по огрублённым копиям (мипам) — о них ниже.
Через этот обход проходит каждый луч, поэтому от него зависит весь кадр. Дешевле он становился дважды. В первый день первичные лучи в подгружаемой пещере при 1080p занимали 6,69 мс. 19 октября у движка появились флажки «здесь пусто» для блоков каждого размера — по ним луч и перескакивает пустоту, — и время упало чуть ниже 2 мс. Сегодня — меньше 1,5 мс.
Что движок хранит вокруг камеры
У пещеры нет края. Пока камера летит, чанки впереди генерируются, а позади выбрасываются, так что существует только пространство вокруг камеры. И не всё оно одинаково подробное. Рядом с камерой хранится каждый воксель. Дальше движок хранит мипы — огрублённые копии чанка, где одна клетка заменяет 2, 4 или 8 вокселей по стороне. Клетка мипа твёрдая, если твёрд хоть один воксель под ней, и берёт самый частый материал. Издалека разницу трудно заметить, а луч там шагает по крупным клеткам, так что это ещё и дешевле.
В движке полная детализация — в радиусе 102 метров от камеры, мипы — до 154. В срезе всё уменьшено, чтобы поместилось на странице. Водите курсором — кольца поедут вместе с камерой. Посмотрите, что чанк меняет уровень целиком и что дальняя порода сохраняет форму даже в клетках 8 × 8. Счётчик показывает, сколько клеток экономят мипы.
Что движок хранит вокруг камеры
Водите курсором (или стрелками) — камера, чёрная точка, пойдёт за ним. Рядом с ней мир во всех деталях, дальше — всё более грубые копии, ещё дальше — ничего. Квадрат — чанк; цвет рамки — уровень детализации.
- полная детализация
- клетка 2×2
- клетка 4×4
- клетка 8×8
Чанк здесь 16 вокселей, а не 64, и кольца уменьшены, чтобы всё поместилось в срез. Правило мипа как в движке: клетка твёрдая, если твёрд хоть один воксель под ней, и берёт самый частый материал.
Копать
Вторая основа — правка. Правка — это фигура, например шар или параллелепипед, применённая к миру, и она точно сообщает, сколько вокселей какого материала убрала. Считается всё в целых числах, поэтому сервер и клиент, применив одни и те же правки, получают один и тот же мир с точностью до бита. Поэтому же движок может вести журнал всех правок и проигрывать его заново: десять тысяч раскопов радиусом в метр проигрываются за 279 мс.
После правки движок проверяет, не осталась ли порода без опоры. Проверка идёт по грубой сетке и занимает 0,33–0,4 мс. Порода без опоры падает вниз целым куском, а в движке ещё и давит то, на что падает. Ниже то же самое в двух измерениях, только без раздавливания. Копайте: счётчик покажет, сколько какого материала вы убрали и сколько вокселей упало. Потом подкопайте свод.
Копать и обрушивать
Нажмите или проведите по породе, чтобы копать (с клавиатуры: стрелки и Enter). Всё, что больше не держится за пол или стены, падает целым куском. Попробуйте подкопать свод.
Правило опоры упрощено до двух измерений: держится воксель, который через цепочку соседей по стороне (не по углу) доходит до пола или боковой стены. Раздавливания в срезе нет.
Доделанный свет
Две недели света, о которых был прошлый пост, закончились светом, который считается заранее и хранится по чанкам. Пока ничего не движется, он не меняется ни на пиксель.
Хуже всего было с чернотой. Свет для дальних чанков считался по очереди, и пока очередь не доходила до чанка, он оставался чёрным. 11 ноября я записал: «через несколько секунд дальние пещеры всё ещё чёрные». Теперь такой чанк берёт усреднённый свет большого блока вокруг, а если его ещё нет — блока покрупнее. Дальние пещеры на мгновение тусклые, но не чёрные.
Потом динамические источники. Игра теперь может передавать движку на каждом кадре до шестнадцати точечных источников или прожекторов. Для каждого освещённого пикселя каждый источник в радиусе действия считается точно, с одним теневым лучом — лучом к источнику, который проверяет, не загорожен ли он. Случайности в этом нет, поэтому нет и шума, и накапливать кадры не нужно. Прежний свет мерцал как раз из-за случайной оценки, а здесь её нет. Движущийся свет каждый кадр считается точно, а неподвижный берётся из хранилища. Налобный фонарь теперь просто источник номер ноль, а каждый источник в радиусе действия обходится на RTX примерно в 0,17 мс.
Последней исправили ошибку, которая сидела во всех снимках этого дневника. Экран ждёт цвет, закодированный по стандартной кривой sRGB, а финальный проход, который выводит картинку в окно, вместо неё использовал pow(c, 2.2) — грубую копию этой кривой. Она сдвигала 216 из 256 возможных значений канала, тёмные — до девяти ступеней: значение, которое должно было дойти до экрана как 16, доходило как 7. Настоящая кривая у самого чёрного — прямая линия. У степенной прямого участка нет, и самые тёмные значения она прижимает к чёрному. В пещере, где картинка в основном тёмная, это много потерянных теней. Теперь каждое значение доходит до экрана как положено, и цвета у меня на экране стали темнее и естественнее.
Скорость и первый релиз
За те же дни многое ускорилось. На картинке ничего из этого не видно, так и задумывалось: все эталоны — сохранённые снимки, с которыми тесты сравнивают картинку, — не изменились ни на байт.
Версия 0.54 — первый релиз. В него входит сборка для тестеров. Это окно-лаунчер: оно по очереди запускает подгружаемую пещеру, зал-витрину и замок, ведёт камеру по заданному пути, замеряет время, как бенчмарк, и пишет отчёт. До сих пор движок не запускался ни на одной машине, кроме моего ноутбука. А потом мне написал программист из Америки, который тоже делает свой движок, и предложил разрабатывать вместе. Я отказался, но мы остались партнёрами по тестированию.
Существа
Существа начались с одной моей строчки 10 ноября: «нужен план для сущности — воксельной модели… с возможностью излучать свет (светящиеся глаза, например) — ставим модель на уровень». Через шесть дней пошло первое.
Существо — воксельная модель из не более чем шестнадцати жёстких частей, каждая до 64 вокселей по стороне. Каждая часть крепится к другой, поворачивается вокруг своей точки и имеет свою детализацию: один, два или четыре воксельных кубика на воксель мира. В сетку мира существо не записывается: существа живут в своём пуле на GPU. Сначала обход мира находит попадание для пикселя. Потом второй обход трассирует существ, но не дальше этого попадания. Теневые лучи существ видят, поэтому существа отбрасывают тень.
Симуляция идёт тиками, 30 в секунду, и поза на каждом тике считается в целых числах с фиксированной запятой: смещения в 1/256 вокселя. Повороты — кватернионы, то есть четвёрки чисел, задающие поворот; здесь они тоже целые и строятся по таблице синусов, которая лежит вместе с кодом. Это ради сети. Сервер и каждый клиент получают одну и ту же позу с точностью до бита, поэтому на всех машинах каждый воксель существа оказывается в одном и том же месте.
flowchart TB vt["spider.voxtext: воксели, нарисованные текстом"] --> vox["spider.vox: части как воксельные модели"] rig[".rig, текстовый файл: части, точки поворота, материалы, клипы"] --> pose vox --> pose["поза на тике, в целых числах"] pose --> pool["пул существ на GPU, до 64 существ и 512 частей за кадр"] world["обход мира: попадание для каждого пикселя"] --> trace pool --> trace["обход существ, не дальше попадания в мир"] trace --> light["свет и тени"]
Первое существо — ходок: туловище, голова с двумя светящимися глазами и две ноги, около 1,3 метра ростом при вокселе в 10 см. Одна клавиша ставит ходока, другая пускает всех ходить по небольшим кругам со скоростью метр в секунду. Третья зажигает между глазами каждого ходока настоящий источник света с тенями — пока в списке из шестнадцати источников есть место; остальные просто светятся.
Ходоки
Моя запись экрана 16 ноября: толпа ходоков на своих кругах, вид сверху.
Шестнадцать ходоков со светящимися глазами обходятся в 1,8–2,2 мс на RTX. На встроенном Radeon того же ноутбука та же сцена стоит 15–23 мс, так что толпа там пока не по карману.
Две проблемы были видны только на экране. Первая — зерно. С выключенными глазами идущая толпа выглядела у меня в окне «довольно плохо». Идущий ходок всё время открывает пиксели, которых прошлые кадры не видели, и их шумный свет не с чем усреднить. Первая правка уменьшила зерно вдвое: шум на экране относительно средней яркости упал с 10,6 до 5,5 процента. Когда только что открывшиеся пиксели пробовали фильтровать сильнее, шум почти не уменьшался, а свежие края теней размывались, поэтому я пошёл другим путём. Ходок, до которого не достаёт ни один источник из списка, теперь освещается по заранее посчитанному свету ближайшей стены или пола, и случайного в этом ничего нет.
Вторая — зависание. Первый же поставленный ходок остановил приложение секунд на двенадцать, так что система успела показать «Application Not Responding». Драйвер видеокарты как раз в этот момент компилировал шейдеры для существ — на первом кадре, где существо появилось. Я решил: «нормально, если при запуске придётся подождать сущности, — когда будет загрузчик». Про загрузчик — ниже.
Анимация текстом
Анимация существа — это файл .rig рядом с его моделью. В нём названы части, какая часть к какой крепится, где каждый сустав, какой цвет палитры какой материал, и клипы — списки ключевых поз (ключей) вроде «на тике 12 поверни эту ногу на 68 градусов вокруг z». Вот начало походки паука, ключи первой ноги:
clip walk ticks 48 loop
key 0 leg_l1 rot z 50 rot y 14
key 4 leg_l1 rot z 59 rot y 12
key 8 leg_l1 rot z 66 rot y 7
key 12 leg_l1 rot z 68 rot y 0
Нога поворачивается вокруг вертикальной оси от 50 до 68 градусов и обратно. Пока она идёт вперёд, она ещё и повёрнута вокруг y, отчего приподнимается над полом. Восемь ног по тринадцать ключей, плюс несколько ключей, которые покачивают головогрудь и брюшко и шевелят педипальпами и хелицерами, — вот и вся походка.
Сам паук тоже нарисован текстом. Файл .voxtext — это стопка слоёв из символов, один символ на воксель: s — панцирь, a — аметист, e — тлеющий уголь, и отдельный инструмент превращает его в .vox. У паука четырнадцать частей (головогрудь, брюшко, восемь ног, две педипальпы и две хелицеры) и 32 455 вокселей, из них 20 788 — одно брюшко. Когда я впервые увидел, как он идёт, я чуть со стула не упал: настолько он крутой, столько в нём деталей, и всё движется.
Срез ниже проигрывает эту походку прямо по числам из spider.rig, вид сверху. Симуляция берёт клип на целых тиках, а экран на каждом кадре смешивает два соседних тика. Замедлите походку и снимите галочку «между тиками» — и увидите то, что видит симуляция.
Походка паука прямо из его файла .rig
Вид сверху. Восемь ног, у каждой своя фаза; поднятая нога светлее и отбрасывает тень. Числа — ключи клипа walk как есть.
Источник: spider.rig из движка, клип walk, 48 тиков, 30 тиков в секунду.
Просмотрщик в движке перечитывает файлы при сохранении: правите текст, сохраняете — и существо в запущенном окне меняется. Я записал: «пришло мгновенно», а про движение между тиками — «плавно». Если строка сломана, остаётся старая модель, а в окне — ошибка с номером строки. MagicaVoxel, стандартный редактор файлов .vox, по-прежнему открывает те же модели. И ещё агент пишет такой текст так же легко, как код.
Со смешиванием между тиками вышел один сюрприз. Первая версия тратила 15,12 мс на 64 существа по 16 частей, потому что заново собирала позу каждой части для каждой точки каждой части, и работа росла квадратично с числом частей. Когда позу стали собирать один раз, вышло 0,50 мс. Чего пока нет, так это плавного перехода между клипами. Когда я переключил паука с ходьбы на поворот головы, он дёрнулся.
Движок снимает сам себя
Записи в начале поста сняты с моего экрана. Теперь движок умеет записывать своих существ сам. Небольшая программа рендерит анимацию вне экрана кадр за кадром, и кадр n всегда показывает один и тот же момент клипа, смешанный между тиками так же, как это сделал бы экран.
Свету нужно несколько кадров, чтобы накопиться и перестать шуметь, поэтому перед первым сохранённым кадром программа прогоняет 64 кадра разогрева. Потом каждый момент она рисует 16 раз и оставляет последний кадр. Каждый запуск даёт в точности одну и ту же запись, а ffmpeg собирает из неё GIF или MP4.
Паук, снятый самим движком
Клип walk, отрисованный вне экрана кадр за кадром в зале-витрине, 25 кадров в секунду, одна петля в 1,6 секунды, проигранная четыре раза.
Программа записала это как GIF; для страницы перекодировано, поэтому полосы от палитры GIF остались.
Экран загрузки
Сцена с замком раньше начиналась с пустого окна секунды на три, а сцены побольше — до десяти. Теперь запуск режется на куски по 25 мс, и между ними окно рисует кадр: вращающийся куб 3 × 3 × 3 вокселя, оттрассированный в шейдере, полоску прогресса, которая двигается только вперёд, и название этапа.
Экран загрузки
Эталонный снимок из теста: замок на 37 процентах.
Простая заставка появляется, как только готова видеокарта, поэтому замок показывает хоть что-то примерно через треть секунды, а не через одну–три. Цена в том, что большие подгружаемые сцены загружаются на 8–10 процентов дольше. Я это принял, потому что загрузка не так плоха, когда пользователь видит, что что-то меняется. Здесь я придерживаюсь модели интерфейсов RAIL: дело не в скорости, а в том, чтобы пользователь не скучал и не думал, что что-то сломалось. Куски по 25 мс плюс кадр между ними — это не больше 40 кадров в секунду во время загрузки, и именно это я и увидел: «да, немного подтормаживает, как будто 30–40 fps. полоска нормальная».
Впечатление за месяц
Я думаю, движок продвинулся хорошо. У меня не было особого плана, что к какому сроку я должен успеть, — я плыву по течению. Пока были проблемы со светом, было тяжело. Худший момент месяца — когда я увидел, что свет мигает и тормозит, это было ужасно. Лучший — когда мы эту проблему решили, и это наполнило меня надеждой и энтузиазмом. Сегодняшний день тоже очень хороший: наконец-то в пещерах есть жизнь.
Главный сюрприз месяца — всё тот же предел агентов: задача, которую они не могут решить без моего присутствия. Быстро работа шла везде, где результат можно было проверить тестом, и медленно там, где только человек, глядя на экран, мог сказать, правильная ли картинка: свет две недели, а на этой неделе — зерно на ходоках и зависание.
Что дальше
Дальше — существа, которые идут по полу, а не на постоянной высоте, и сжатие и растяжение в клипах, которое покажет прыгающий слизень. Потом слой мелких деталей над поверхностями — травинки, шляпки и камешки, которые качаются от ветра. Потом что угодно из файла .vox: большие сцены, впечатанные в мир, и постройки, которые возводятся по этапам и сносятся. Но больше всего я хочу увидеть поверхность: солнце, погоду, поведение жидкостей и газов, огонь. Следующий пост через месяц или раньше, если что-то из этого окажется интересным.