Доброго дня всем последователям Омниссии, я Арсентий Гусев, руководитель отдела системной разработки компании «Аэродиск». Уже много лет я работаю с данными на разных уровнях технических задач: регистрирую, храню, обрабатываю, обучаю на них модели, анализирую получившиеся прототипы и процессы. Сегодня пришло время поговорить про логистику этих данных. Они ведь сами по себе у вас в руках не оказываются, верно? А рассматривать вопрос мы будем на реальных примерах из жизни интенданта, чтобы не забрасывать вас сухими цифрами.

За годы работы с системами хранения я привык к одному вопросу от заказчиков (и когда сам был заказчиком): «какая у вас пиковая производительность?» Года три назад вопрос сменился: «а у вас есть RDMA и Gen5? У конкурентов есть». И когда я отвечаю, что в конкретной поставке под ИИ-задачи мы осознанно оставили NVMe-oF поверх обычного TCP на Gen4-бэкенде, собеседник смотрит на меня как на интенданта, который при полном арсенале плазменного оружия выдаёт бойцам лазганы. Этот текст - развёрнутый ответ на то непонимание в глазах.

Плазмаганы в арсенале есть, мы умеем их обслуживать и некоторым бойцам действительно выдаём. Но опытный интендант отличается от штабного романтика не тем, что вооружает плазмой всех подряд, а тем, что знает: в руках рядового гвардейца плазмаган не выиграет ни одного боя, который не выиграл бы лазган, - зато способен перегреться в самый неподходящий момент. Я хочу показать расчётом - не убеждением, а именно расчётом, - в каких боях плазма и реликвии Механикус не меняют ничего, и в каком одном меняют всё.

О масштабе

Сразу договоримся о масштабе, чтобы не спорить о разном. Я говорю про полковой уровень: инференс, RAG и дообучение на 1-10 GPU-узлах. Не про Индомитский крестовый поход на тысячах ускорителей - у гиперскейлеров своя экономика и своя фабрика. Но именно на полковом уровне переплата за «самое мощное» ощутимее всего, и именно здесь простая интендантская арифметика окупается быстрее всего.

Куда сместилось узкое место

Начну с того, с чем ко мне приходят. «GPU загружен на 30%, что не так с вашей СХД?» - типичная формулировка, и догадки за ней правильные, хоть и направлены не туда. Узкое место в ИИ-инфраструктуре действительно сместилось с вычислителя на тракт данных: ускоритель ценой в состояние простаивает не потому, что ему не хватает FLOPS, а потому, что байты не успевают к нему прийти.

Война выигрывается не на передовой, а на путях подвоза.

И это уже не наблюдение отдельного вендора: Meta* в свежем разборе своей storage-архитектуры прямо называет хранилище одним из главных источников простоев GPU: вычислительная мощность ускорителей удваивается примерно каждые два года, а хранение и интерконнект растут заметно медленнее, и ножницы расходятся.

Правильный первый шаг - не «купить ещё GPU» и даже не «купить сторадж помощнее», а измерить, какую долю времени ускоритель ждёт ввод-вывод. А второй шаг, ради которого написан этот текст, - понять, кого именно вы снабжаете. Потому что «СХД для ИИ» - маркетинговая абстракция. В реальности на довольствии у вашего склада стоят 3 потребителя с несовместимыми требованиями, и снабжать их надо по-разному.

Анатомия склада: 2 контроллера-святилища с зеркалом кэша, общая NVMe-корзина Gen4 и 2 варианта фронта — 4×100GbE и 4×25GbE

Трое на довольствии

Гвардия: обучение

Первый потребитель - Гвардия. Это обучение: полки Астра Милитарум, которые потребляют снабжение эшелонами. Профиль - последовательное чтение гигантскими блоками, от мегабайта и крупнее, с высокой параллельностью. Гвардии безразлична задержка отдельной операции - она не заметит разницы между 100 и 300 микросекундами на ящик. Ей важен стабильный поток эшелонов - в моей практике ориентир от 10 гигабайт в секунду на узел - и его предсказуемость.

Предсказуемость тут не украшение: шаг распределённого обучения синхронный, как общевойсковое наступление - сотня рот выдвигается одновременно, и наступление начинается, когда боекомплект получила самая медленная. Один застрявший эшелон из ста стопорит всех. Поэтому даже для чисто потоковой нагрузки метрикой оказывается не средняя скорость подвоза, а 99-й перцентиль (p99): хвост распределения бьёт по всему фронту. Стандартизованное выражение этой мысли - Accelerator Utilization из бенчмарка MLPerf Storage, доля времени, когда ускоритель реально потребляет данные. Если она ниже 90%, пути подвоза не справляются.

Ассасин: инференс и RAG

Второй потребитель - ассасин Официо Ассасинорум, виндикар. Это инференс и RAG. Ему не нужны эшелоны - ему нужен один снаряд Exitus, поданный точно в момент выстрела: тысячи случайных чтений мелкими блоками, классические random 4K, по векторным индексам и метаданным. Полоса ему безразлична - он за всю операцию не израсходует и гигабайта.

Ему важно, чтобы каждый снаряд прилетал быстро и, главное, одинаково быстро: его метрики - скорость отклика p99 и коэффициент дрожания p99/p50, который я закладываю не хуже трехкратного, потому что выстрел, задержанный на миллисекунду, - это выстрел мимо. Виндикар с жёстким контрактом на время исполнения - единственный боец на довольствии, которому по-настоящему больно от TCP, к этому я вернусь, когда дойдём до цифр.

Второй режим ассасина: KV-офлоад

Но именно с ассасином за последние 1,5-2 года случился поворот, который обязан быть в любом честном тексте про инференс-нагрузку: у него появился второй режим снабжения, в котором он потребляет как Гвардия. Длинные контексты и агентские сессии перестали помещаться в память GPU. KV-кэш - состояние внимания модели по всем токенам контекста, весь оперативный багаж миссии - вырос до размеров, при которых его выгоднее выгружать из HBM на внешние ярусы и поднимать обратно при реактивации сессии, чем восстанавливать заново.

Масштаб такой: у Llama-3.1-8B контекст в 128 000 токенов - это уже больше 16 гигабайт KV-кэша, а модели с миллионным контекстом на тяжёлых конфигурациях выводят счёт на сотни гигабайт. Индустрия ответила ярусными офлоад-архитектурами: NVIDIA Dynamo со своим KV Block Manager выгружает блоки кэша по цепочке HBM → RAM хоста → SSD → сетевое хранилище, а VAST Data в связке с Dynamo закрывает нижние ярусы этой пирамиды.

И вот что пишет сам VAST - вендор, которого трудно заподозрить в желании продать что-то попроще: цель этой нагрузки - не IOPS и не отклик одиночной операции, а полоса, потому что время до первого токена реактивированной сессии упирается в скорость линейной загрузки кэша обратно в HBM. Гигабайты последовательного чтения крупными блоками: не одиночный снаряд, а полная выкладка экспедиционного багажа. По манере снабжения это Гвардия, как бы боец ни назывался в оперативной сводке.

Проверим арифметикой: багаж сессии в 16 гигабайт, склад отдаёт 11 гигабайт в секунду - погрузка занимает 1,5 секунды, и почти все эти 1,5 секунды - чистая передача данных. Микросекунды протокольного round-trip в ней - шум 4-го знака; RDMA здесь не ускорит ничего заметного, ускорит только более широкий канал. Из этого следует вывод, который стоит держать в голове до конца текста: чем больше в профиле заказчика агентских сессий и длинных контекстов, тем меньше у него настоящего ассасина - и тем меньше поводов платить за низкие задержки фабрики.

Титан: чекпоинты

Третий потребитель - Титан. Это чекпоинты, и у него единственного довольствие движется в обратную сторону: он не получает груз со склада, а сдаёт его - интендантская служба работает в обе стороны, и приёмка лежит на том же складе, что и выдача. «Владыка войны» молчит часами - и потом отгружает на хранение весь боезапас разом: чекпоинт - взрывная синхронная запись всего стейта модели, и пока склад не принял и не подтвердил последний ящик, наступление стоит. Весь фронт ждёт окончания приёмки, потому что стейт, принятый наполовину, не стоит ничего.

Цену этого замирания можно посчитать на обороте реквизиционного формуляра. Модель на 70 миллиардов параметров: веса в bf16 - около 140 гигабайт, а полный стейт с мастер-копией весов и моментами оптимизатора - порядка терабайта, примерно 14 байт на параметр для классического Adam-стека. Сдаём груз на полосе 11 гигабайт в секунду - окно приёмки около 90 секунд. Кластер из 4 узлов по 8 GPU при аренде 3 доллара за GPU-час стоит 96 долларов в час; 90 секунд простоя - 2,40 доллара за чекпоинт. Чекпоинтимся каждые 30 минут - 48 раз в сутки, около 115 долларов в день, порядка 42 000 долларов в год - только на замирание фронта при сдаче груза. Вот в этих единицах, в потерянных GPU-часах, и надо мерить Титана.

Заметьте: в расчёте вообще нет задержек. Метрики Титана - полоса записи и время до подтверждения, когда запись села в защищённый кэш контроллера и отзеркалилась на соседа; латентность одиночной операции на окно приёмки не влияет никак. Сам формуляр - вот он:

Стейт 70B (Adam)   ≈ 14 Б/параметр × 70·10⁹     ≈ 1 ТБ
Окно приёмки       = 1 ТБ / 11 ГБ/с             ≈ 90 с
Гарнизон           = 4 узла × 8 GPU × $3/GPU-ч  = $96/ч
Один чекпоинт      = 90 с замирания фронта      ≈ $2,4
Сутки              = 48 чекпоинтов              ≈ $115
Год                                             ≈ $42 000

Титан сдаёт терабайт стейта на склад через ворота 11 ГБ/с: фронт заморожен на 90 секунд, реквизиционный формуляр подводит счёт - $42 000 в год.

Требования конфликтуют

Теперь главное про это довольствие: требования не просто разные - они конфликтуют. Приёмка груза Титана конкурирует за полосу с эшелонами Гвардии; ребилд после отказа диска поднимает хвост латентности ассасину - его выстрелы начинают запаздывать ровно тогда, когда склад занят восстановлением. Оптимизация снабжения под одного бойца портит жизнь остальным. Поэтому проектировать надо от профиля смеси, а не от самого мощного оружия в арсенале. И чтобы от профиля перейти к железу, нужно проинспектировать сами пути подвоза.

Гвардия, ассасин и Титан - три потребителя одного склада с несовместимыми требованиями.

Тракт данных: минимум по цепочке

Тракт данных - это цепочка снабжения:

кузницы Марса → варп-конвои → орбитальные доки → челноки → посадочные площадки → передовая.

В наших терминах:

объектное хранилище → сеть → файловая система → кэш → драйвер → память GPU.

И пропускная способность всей кампании - минимум по цепочке: сколько бы ни ковали кузницы, фронт получает столько, сколько пролезает через самое узкое звено.

Покажу на живом железе, а не на сферическом складе в вакууме. Конфигурация из реальной поставки: двухконтроллерная Active/Active HA-пара, all-NVMe бэкенд на PCIe Gen4, фронт 4 порта по 25GbE, протокол NVMe-oF поверх TCP. Считаем каждое звено:

ПС_СХД = min( Front-End ; PCIe-фабрика ; Кабели ; Память ; NVMe )
       = min(   12,5    ;     63       ;   63   ;  204   ; >>63 ) ГБ/с
       = 12,5 ГБ/с

Цепочка снабжения склада: широкие стеллажи NVMe, память и PCIe-фабрика упираются в узкие ворота фронта 4×25GbE.

Фронт: 4 по 25 - 100 гигабит, то есть 12,5 гигабайт в секунду теоретического потолка. Внутренняя PCIe-фабрика и кабельная обвязка - около 63. Полоса памяти контроллеров - за 200. Суммарная способность NVMe-корзины - сильно за 63: носители давно не проблема.

И вот вывод, который ломает интуицию большинства заказчиков: узкое место - не стеллажи. Внутренний all-NVMe бэкенд имеет примерно 5-кратный запас над фронтом. Все ищут проблему на стеллажах, а проблема - единственные ворота, через которые всё это должно выехать со склада на передовую.

Практика подтверждает арифметику: на стенде эта система отдаёт 11 - 11,6 гигабайта в секунду последовательного чтения по TCP, то есть 88 - 93 процента теоретического потолка канала. Накладные Ethernet, TCP и NVMe-oF съедают свои честные 7-10 процентов, и всё. Запомните эту цифру - она главный свидетель защиты.

Возражение первое: «RDMA и Gen5 не достать»

Вы можете возразить: «TCP вы поставили, потому что RDMA и Gen5 не достать». Нет, и это принципиально: перед нами не история про дефицит, реликвии не утрачены. Бэкенд-свитч в этой платформе - уже PCIe Gen5 по железу; на Gen4 его держит процессор текущего поколения, а не рынок. RoCE v2 - это обычный Ethernet, любой вменяемый 25/100GbE-адаптер с offload его умеет, и кластерный вариант платформы на RDMA с SPDK существует.

Плазмаганы лежат в арсенале, смазанные и освящённые. Вопрос не «где взять», а «что это даёт и почём». Gen5-линк - при процессорах уровня Sapphire Rapids и новее - удвоит потенциал бэкенда до 126 гигабайт в секунду, но пока фронт 4 по 25, боец у ворот не получит ни байта сверху, потому что узкое место не сдвинется ни на миллиметр. Это реликвия СТК, установленная в подвале, из которого нет выезда.

А RoCE v2 - это вообще не «купить сетевую карту». Это плазма в полном смысле: мощнее лазгана в умелых руках - и требует дисциплины обращения, потому что перегревается. Lossless-фабрика с PFC и ECN на каждом коммутаторе тракта, тюнинг, регламент эксплуатации и персонал, который умеет диагностировать это в три часа ночи, - RDMA чувствителен к потерям, один упавший пакет стопорит очередь, как перегрев стопорит плазмаган посреди боя. TCP же - лазган: не впечатляет на стрельбище, зато стреляет у любого гвардейца в понедельник утром, на любой сети, без литаний и техножрецов. Это выбор между «предсказуемо у всех» и «мощнее у тех, кто умеет», и практикующие архитекторы формулируют развилку ровно так же: плазму - туда, где микросекунды монетизируются, лазган - везде, где нет.

Возражение второе: «в high-end давно 400GbE»

Второе возражение прилетает с другой стороны: «в high-end давно 400GbE, о чём вы вообще с вашими 4 по 25GbE». Да, в фабриках крестовых походов 400GbE становится нормой - но и там полоса считается, а не выдаётся по умолчанию, и считается ровно тем же минимумом по цепочке, только с другими числами.

Полоса - это довольствие одного бойца, умноженное на численность гарнизона. Отраслевые ориентиры - их приводит, например, IBM в свежем redbook про платформы KV-кэша - порядка гигабайта в секунду на GPU для инференса и до 4 для обучения на тяжёлых несжатых данных. Полковой кластер инференса из 4 узлов по 8 GPU - 32 гигабайта в секунду потребности в пике; 400GbE-фронт с его 50 гигабайтами в секунду на порт для такого гарнизона - магистраль улья, проложенная к аванпосту на 3 палатки.

А чтобы было видно, что закон работает в обе стороны, - зеркальный пример с самого верха, из того же redbook: кластер, где 8 storage-узлов выдавали около 315 гигабайт в секунду чтения - почти вчетверо больше, чем могла унести установленная сеть. Тот же перекос, что в нашей HA-паре, только наоборот: у нас ворота не поспевают за стеллажами, у них стеллажи выдают вчетверо больше, чем способны увезти конвои. Ботлнек не имеет ценового класса и не читает прайс-листы. «400GbE» - не синоним «правильно спроектировано», правильно спроектировано - это когда звенья цепи выровнены под фактический профиль гарнизона, на каком бы этаже каталога Механикус вы ни закупались.

Кому что выдавать со склада

Теперь можно честно разложить, кому что выдавать со склада, - и это центральное место всего рассуждения. Гвардии TCP безразличен: при последовательном чтении крупными блоками протокольные накладные тонут в объёме полезного груза, канал выбран практически досуха - 11 с лишним из 12,5 теоретических, - и RDMA не может дать больше, чем ширина ворот. Он убирает микросекунды на операцию, а Гвардии эти микросекунды не мешали и раньше. Эффект здесь даст только расширение фронта, и это вопрос портов, а не протокола.

Титану важны полоса и зеркало, не латентность: запись чекпоинта подтверждается из защищённого PLP-кэша контроллера за 100-200 микросекунд, зеркалируется на соседний контроллер по выделенному интерконнекту, и дальше окно приёмки определяется только тем, как быстро терабайт стейта пролезет через ворота. Gen4-бэкенд с 5-кратным запасом эту burst-запись даже не замечает. Вернитесь к формуляру выше и уполовиньте задержку одиночной операции - 90-секундное окно сократится на величину, которую не покажет ни один ауспик.

KV-офлоад - ассасин в режиме Гвардии - тоже про полосу: реактивация сессии есть гигабайты линейного чтения, время до первого токена определяется шириной канала, а не round-trip, и показательно, что даже вендоры самых дорогих фабрик на рынке оптимизируют этот сценарий под пропускную способность, - физику не обманешь и Омниссию не заговоришь: 16 гигабайт на полосе в 11 - это 1,5 секунды, из которых RDMA способен убрать доли процента.

Лазган против плазмы: разница только в строке «ассасин — жёсткий SLA», остальные три лимитируют ворота.

Где плазма работает: ассасин-классика

Больно - по-настоящему больно - только ассасину-классике. И вот честная часть расчёта, где плазма работает. TCP-стек добавляет 30-50 микросекунд на каждый round-trip, а у записи их два - передача команды и передача данных, - итого латентность в 2-3 раза выше, чем у RDMA. В числах нашего стенда: по TCP чтение p50 - 150 - 250 микросекунд при p99 до 1-2 миллисекунд под нагрузкой, кластерный вариант на RDMA с SPDK - 100 - 130 микросекунд на чтение и 50 - 120 на запись, стабильно.

Для векторного поиска на горячем пути онлайн-инференса - десятки случайных мелких чтений на каждый пользовательский запрос при жёстком контракте на суммарное время ответа - разница между хвостом в 130 микросекунд и хвостом в 1,5 миллисекунды, помноженная на эти десятки чтений, съедает бюджет ответа целиком, а сорванный контракт на время исполнения для виндикара и есть промах. Разложим выстрел по секундомеру:

Контракт на ответ      = 100 мс (SLA онлайн-инференса)
Горячий путь           = ~30 случайных чтений на запрос
TCP,  хвост p99 1,5 мс = 30 × 1,5  = 45 мс  - почти половина бюджета на один I/O-этап
RDMA, хвост p99 130 мкс= 30 × 0,13 ≈ 4 мс   - шум на фоне самой модели

Хронометр виндикара: из бюджета выстрела в 100 мс хвост TCP съедает 45 мс, RDMA - лишь 4 мс.

45 миллисекунд против 4 - вот где микросекунды протокола, помноженные на глубину горячего пути, превращаются в проценты бюджета, а не в шум четвертого знака. Это тот единственный боец, ради которого спецреквизиция оправдывает и цену, и регламент обслуживания, - только виндикар не берёт плазмаган со стойки: его плазма называется Exitus, оружие под конкретную задачу, с индивидуальной подгонкой и оружейником в придачу. Ему - кластер с RDMA и SPDK, и это не уступка моде, а тот же расчёт с другим входным профилем.

А когда жёсткого контракта нет - батчевый RAG-индексинг, офлайновый пересчёт эмбеддингов, ночные пайплайны - ассасин спокойно получает довольствие с общего склада по TCP, и ни один арбитр не найдёт разницы.

Почему перцентили, а не среднее

Все цифры латентности выше - перцентили, и без пояснения, почему именно перцентили, предыдущий абзац был бы нечестным. «В среднем у нас нормально» - это не SLO, это самоуспокоение уровня «в среднем по крепости стены целы». Задержка под нагрузкой ведёт себя, как очередь у врат улья: пока поток умеренный, все проходят быстро, а после примерно 70% утилизации очередь растёт нелинейно, и p50 в 150 микросекунд превращается в p99 в 2 миллисекунды - не потому, что стража стала медленнее, а из-за queueing delay. У этой кривой есть колено, и никакой протокол его не отменяет: RDMA сдвигает кривую вниз, но форма остаётся.

Колено кривой задержки: после ~70% утилизации p50 и p99 расходятся нелинейно.

Отсюда три правила, которые я навязываю каждому проекту - в полном согласии с классикой SRE, которую в этом контексте можно читать как устав караульной службы. Если SLO не записан - его нет: «быстро» - не число.

Если SLO не мониторится - считаем его нарушенным. Минимальный набор индикаторов - латентность p99 по ярусам, гарантированный минимум полосы, отношение p99 к p50, доля времени ожидания данных ускорителем и Accelerator Utilization.

И если SLO не подтверждён стендом - он подтверждён брошюрой, те есть ничем: fio с перцентилями, инъекция отказа контроллера под нагрузкой, ребилд при полной клиентской нагрузке - потому что именно в этот момент бойцы начинают отбирать довольствие друг у друга, и именно это вы потом увидите в бою, а не на параде.

Развилка и порядок апгрейда

Соберу всё в развилку, к которой мы в итоге приходим с заказчиками. Если профиль - обучение, чекпоинты и инференс без жёсткого хвостового контракта (включая KV-офлоад, который по манере - Гвардия), его закрывает базовая HA-пара на NVMe-oF TCP и Gen4: 11 с лишним гигабайт в секунду честной полосы, доступность 4-5 девяток, нулевой RPO внутри пары за счёт синхронного зеркала кэша, failover за секунды через ANA и multipath - и всё это на любой сети, без техножрецов в штате.

Одна честная оговорка про Гвардию: при её же ориентире в 10 гигабайт в секунду на узел фронт в 12,5 досыта кормит один обучающий узел - дообучение и файнтюн проходят свободно, а полк из нескольких узлов упрётся в ворота. Это не аргумент против расчёта, а его прямое следствие, и именно поэтому апгрейд-путь ниже начинается с фронта:

Довольствие Гвардии       ≈ 10 ГБ/с на обучающий узел
Фронт 4 × 25GbE  = 12,5 ГБ/с → досыта кормит 1 узел
Фронт 4 × 100GbE = 50 ГБ/с   → 4-5 узлов; стеллажи (63 ГБ/с) всё ещё в запасе

Довольствие Гвардии: узкие ворота 4×25GbE досыта кормят один полк, широкие 4×100GbE - пять, стеллажи склада всё ещё в запасе.

Если же в профиле есть ассасин-классика с жёстким SLA на p99 - латентно-критичный онлайн-инференс с векторным поиском на горячем пути - или нужны 6 девяток, которых одной HA-паре не достичь в принципе, - тогда кластер от 3 узлов на RDMA и SPDK, и эта реквизиция тоже выводится из расчёта, а не из каталога.

А когда базового варианта со временем перестанет хватать, апгрейд идёт в том порядке, в каком двигается узкое место: * Сначала ворота - фронт до 100GbE, потому что стеллажи с 5-кратным запасом уже готовы, и это единственный шаг, немедленно отдающий полосу всем троим; * Потом плазма - RDMA, когда расшитый фронт обнажит латентность как следующее ограничение и если в гарнизоне есть кому её почувствовать; * И только потом реликвии - Gen5-процессоры, когда суммарный аппетит гарнизона дорастёт до потолка Gen4-фабрики, потому что раньше - это самый дорогой из существующих способов ничего не изменить.

Вместо эпилога

Опытный интендант не выбирает между «мощно» и «дёшево» - он считает, в чьих руках оружие выиграет бой. В переводе на инженерный: SLO вместо парадных цифр, fio вместо веры, p99 вместо среднего и минимум по тракту прежде любого реквизиционного формуляра. Плазмаганы никуда не денутся из арсенала. Они дождутся того единственного бойца, который действительно стреляет на микросекунды. Император защищает - но полосу пропускания он не расширяет: её считают.

Машина помнит долг: техножрецы обслуживают священную стойку GPU, коммутаторов и СХД.

*Деятельность организации признана экстремистской и запрещена на территории РФ.

Ссылки: Meta - AI Storage Blueprint at Scale · VAST Data - NVIDIA Dynamo + VAST · IBM Redbooks - Context Without Limits: KV Cache Platform · KVDrive (arXiv) - размеры KV-кэша · NVMe/TCP vs NVMe/RoCE (Medium) · MLPerf Storage · Google SRE Book - Service Level Objectives. Числа по конкретной конфигурации - из SLO-документа и стендовых замеров описанной HA-пары; методика воспроизводится fio с перцентилями на любом сопоставимом железе.*

Больше информации в моем Telegram: @the_tough_case