История Xet и обзор

В августе 2024 года Hugging Face приобрела XetHub, стартап на стадии seed, базирующийся в Сиэтле, чтобы заменить Git LFS на Hub.

Как и в случае с Git LFS, репозиторий с поддержкой Xet использует S3 в качестве удалённого хранилища, а файл .gitattributes в корне репозитория помогает определить, какие файлы следует хранить удалённо.

Файл-указатель Git LFS содержит метаданные для определения местоположения фактического содержимого файла в удалённом хранилище:

• SHA256: предоставляет уникальный идентификатор для фактического большого файла. Этот идентификатор генерируется путём вычисления хеша SHA-256 от содержимого файла.
• Размер указателя: размер файла-указателя, хранящегося в репозитории Git.
• Размер удалённого файла: указывает фактический размер крупного файла в байтах. Эти метаданные полезны как для целей верификации, так и для управления операциями хранения и передачи.

Указатель Xet по своей конструкции содержит всю эту информацию. См. раздел обратная совместимость с Git LFS с добавлением поля Xet backed hash для ссылки на файл в хранилище Xet.

В отличие от Git LFS, который выполняет дедупликацию на уровне файлов, репозитории с поддержкой Xet дедуплицируют данные на уровне байтов. При обновлении файла, хранимого в Xet, в удалённое хранилище загружаются только изменённые данные, что значительно экономит трафик. Во многих сценариях, например при инкрементальном обновлении контрольных точек моделей или добавлении/вставке новых данных в набор данных, это ускоряет итерации для вас и ваших коллег. Чтобы узнать больше о дедупликации в хранилище Xet, обратитесь к разделу Deduplication.

Update on GitHub