Просмотр новости
Найдите то, что Вас интересует
Спутники
РН
SpaceX
Роскосмос
NASA
СпутникиРНSpaceXРоскосмосNASAНаш веб-краулер потреблял 128 МБ ОЗУ только на отслеживание посещённых URL. На встраиваемом устройстве с 256 МБ это была половина всей памяти.Задача краулера была простой: отслеживать посещённые URL, чтобы не краулить одну и ту же страницу дважды. После обработки 1 миллиона URL (средняя длина 80 байт) хэш-таблица, в которой хранились эти URL, разрослась до 96 МБ плюс оверхед.«Можем ли мы обменять точность на память? Нас вполне устроит несколько дублированных операций, если это позволит сэкономить большой объём памяти», — сказал мне мой менеджер во время ревью кода.Этот вопрос изменил всё. На самом деле, идеальная точность не требуется. Если мы случайно обработаем одну страницу дважды, то впустую потратим часть пропускной способности, но ничего не поломаем. Главным ограничением была память. Читать далее
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | [Перевод] Структуры данных на практике. Глава 16: Фильтры Блума и вероятностные структуры данных | 0 | 7 | 28-06-2026 |
| 2 | [Перевод] Структуры данных на практике. Глава 17: Структуры данных загрузчиков | 0 | 5 | 29-06-2026 |
| 3 | От полной выгрузки к S3 и PostgreSQL: как мы доставляем гигабайты данных в память подов | 5 | 7 | 06-07-2026 |
| 4 | Count-Min Sketch: как посчитать частоту миллиарда событий в 10 килобайт | 0 | 10.18 | 17-08-2026 |
| 5 | HyperLogLog: как найти уникальные значения в терабайте данных, не храня их | 0 | 7 | 24-06-2026 |
| 6 | [Перевод] Структуры данных на практике. Глава 18: Очереди драйверов устройств | 0 | 7 | 30-06-2026 |
| 7 | Ни одного ложноотрицательного: пишем Фильтр Блума на C | 0 | 6.95 | 21-07-2026 |
| 8 | Ни одного ложноотрицательного: пишем Фильтр Блума на C | 7 | 8 | 21-07-2026 |
| 9 | Куда уходит память? Семплирующее профилирование колонок с Алисой в проде | 0 | 7.68 | 16-07-2026 |
| 10 | In-memory база врёт: 5 расхождений с продовой БД | 0 | 7 | 07-07-2026 |