Free OLM OCR

Повний посібник з локального розгортання olmOCR 2025: Сучасна обробка PDF з Docker і vLLM

Sep 6, 2025

Логотип olmOCR

Я працював з olmOCR протягом останніх кількох місяців, і мушу сказати – цей інструмент повністю змінив те, як я працюю з обробкою PDF. Версія 0.3.4 щойно вийшла, і чесно кажучи, це вражаюче те, чого досягла команда Allen AI.

🚀 Хочете спочатку спробувати? Перейдіть на нашу головну сторінку, щоб протестувати можливості olmOCR з вашими власними PDF-файлами перед налаштуванням локального розгортання.

📚 Примітка: Якщо ви шукаете наш попередній посібник з розгортання "Покроковий посібник з локального розгортання olmOCR", зауважте, що він тепер застарілий. Цей всеосяжний посібник 2025 року містить найновіші методи встановлення та найкращі практики.

Ось що привернуло мою увагу в останньому релізі:

  • Автоматичне виявлення ротації дійсно працює тепер (більше ніяких бічних документів!)
  • Налаштування Docker набагато плавніше ніж раніше
  • Вони перейшли на vLLM і різниця в швидкості помітна
  • Якщо у вас є RTX 4090 або H100, оптимізація FlashInfer того варта
  • Економія витрат реальна: я обробляю документи за 6.000₴ за мільйон сторінок замість 400.000₴+, які платив за комерційні API

🎯 Чому я переключився на локальне розгортання olmOCR

Цифри не брешуть (але це не все)

Послухайте, я не буду прикрашати – я переключився на olmOCR через гроші. Бенчмарк показує точність 78.5% порівняно з 70.1% Marker'а, і це чудово, але що мене переконало – це різниця у вартості. Я втрачав гроші на комерційних API.

Але ось що дійсно важливо на практиці:

  • Дійсно зберігає ваші дані приватними: Немає завантаження конфіденційних контрактів до сторонніх сервісів
  • Працює офлайн: Інтернет впав? Неважливо, ви все ще обробляєте документи
  • Обробляє дивні PDF: Знаєте ті скановані документи з 1995 року з дивними макетами? Так, він їх теж бере
  • Масштабується коли потрібно: Почав з окремих файлів, тепер обробляю тисячі не розоривши банк

🛠️ Що вам дійсно потрібно

Поговоримо про залізо (Справжні вимоги)

Перш ніж зануритися, будьмо чесними про те, що вам потрібно. Документація каже "мінімальна конфігурація", але я скажу вам, що дійсно працює:

Якщо хочете почати:

  • GPU: RTX 4090 з 24GB – це sweet spot для більшості людей. Я бачив, як воно працює на 16GB, але це тісно – перевірка реальності: спільнота повідомляє, що насправді використовує ~20GB VRAM на 3090, тому картки на 16GB борються
  • RAM: 32GB нормально, хоча я б взяв 64GB, якщо плануєте обробляти великі пакети
  • Сховище: 30GB мінімум, але візьміть NVMe SSD якщо можете. Довірте мені в цьому
  • CUDA: 12.8+ (спочатку перевірте з nvidia-smi)

⚠️ Попередження спільноти - Multi-GPU не працює: Якщо ви думаєте "Я просто використаю дві RTX 3060, щоб отримати 24GB в сумі" – не робіть цього. Це постійно з'являється в GitHub issues. olmOCR не може об'єднувати VRAM через кілька GPU. Вам потрібно 20GB+ на одній карті. Збережіть собі головний біль.

Якщо ви робите це для роботи:

  • GPU: H100 якщо у вашої компанії глибокі кишені, A100 якщо ні
  • RAM: 64GB+ тому що ви будете запускати й інші речі
  • Сховище: 100GB+ на швидкому сховищі. Обробка стає безладною

Нудне але істотне налаштування

Так, я знаю, встановлення залежностей не весело. Але пропустіть це, і ви будете налагоджувати дивні проблеми з рендерингом PDF пізніше. На Ubuntu/Debian:

# Звичні підозрювані спочатку
sudo apt-get update

# Це магічний рядок, що виправляє більшість проблем з PDF
sudo apt-get install -y \
    poppler-utils \
    ttf-mscorefonts-installer \
    msttcorefonts \
    fonts-crosextra-caladea \
    fonts-crosextra-carlito \
    gsfonts \
    lcdf-typetools

Увага: При встановленні шрифтів ви отримаєте спливаюче вікно ліцензії. Просто натисніть TAB і виберіть Yes. Це шрифти Microsoft, що ведуть себе як Microsoft.

🐍 Правильне налаштування Python

Просто використовуйте Conda (Серйозно)

Я спробував і conda, і venv для цього. Conda виграє щоразу. Пекло залежностей реальне з PyTorch і CUDA, і conda краще з цим справляється:

# Створіть чисте середовище (Python 3.11 це те, з чим вони тестують)
conda create -n olmocr python=3.11
conda activate olmocr

# Цей рядок завантажить ~3GB речей, будьте терплячі
pip install olmocr[gpu] --extra-index-url https://download.pytorch.org/whl/cu128

# Якщо у вас RTX 4090 або H100, це робить різницю
pip install https://download.pytorch.org/whl/cu128/flashinfer/flashinfer_python-0.2.5%2Bcu128torch2.7-cp38-abi3-linux_x86_64.whl

Якщо ви дійсно хочете використовувати venv замість цього

Дивіться, я розумію. Деякі люди віддають перевагу venv. Це нормально, тільки не звинувачуйте мене, коли проводитимете дві години налагоджуючи версії PyTorch:

# Стандартне налаштування venv
python3.11 -m venv olmocr-env
source olmocr-env/bin/activate  # Linux/Mac
# Для користувачів Windows: olmocr-env\Scripts\activate

# Схрестіть пальці і встановлюйте
pip install olmocr[gpu] --extra-index-url https://download.pytorch.org/whl/cu128

💬 Справжній досвід користувача: Один користувач GitHub підсумував це ідеально: "Витратив 3 години на боротьбу з конфліктами версій CUDA/PyTorch з venv. Переключився на conda і це запрацювало за 10 хвилин." Вирішення залежностей у conda дійсно робить різницю тут.

🚀 Час дійсно використовувати цю штуку

Ваш перший PDF (Момент істини)

Почнімо просто. Якщо це не працює, щось не так з вашим налаштуванням:

# Візьміть їхній тестовий PDF (це лише 3 сторінки)
curl -o olmocr-sample.pdf https://olmocr.allenai.org/papers/olmocr_3pg_sample.pdf

# Перший запуск завантажить модель (~13GB), тому візьміть каву
python -m olmocr.pipeline ./workspace --markdown --pdfs olmocr-sample.pdf

Перший запуск займає вічність тому що завантажує модель. Не панікуйте.

Пакетна обробка кількох файлів

# Обробити всі PDF в директорії
python -m olmocr.pipeline ./workspace --markdown --pdfs /path/to/pdfs/*.pdf

# Обробити з користувацькими налаштуваннями
python -m olmocr.pipeline ./workspace \
    --markdown \
    --pdfs /path/to/pdfs/*.pdf \
    --workers 4 \
    --target_longest_image_dim 2048

Обробка файлів зображень

olmOCR підтримує кілька форматів зображень:

# Обробити зображення PNG/JPEG
python -m olmocr.pipeline ./workspace --markdown --pdfs document.png image.jpg

🐳 Посібник з розгортання Docker

Метод 1: Офіційний Docker образ (Рекомендовано)

# Завантажте останній Docker образ olmOCR
docker pull alleninstituteforai/olmocr:latest

# Запустіть з підтримкою GPU і монтуванням томів
docker run -it --gpus all \
    -v /path/to/your/documents:/documents \
    -v /path/to/output:/output \
    --name olmocr_container \
    alleninstituteforai/olmocr:latest /bin/bash

Всередині Docker контейнера

# Обробити документи всередині контейнера
python -m olmocr.pipeline /output/workspace \
    --markdown \
    --pdfs /documents/*.pdf

Метод 2: Docker із зовнішнім сервером vLLM

Для виробничих середовищ відокремте сервер виведення:

# Запустіть контейнер сервера vLLM
docker run -d --gpus all \
    -p 8000:8000 \
    --name vllm-server \
    vllm/vllm-openai:latest \
    --served-model-name olmocr \
    --model allenai/olmOCR-7B-0825-FP8 \
    --max-model-len 16384

# Запустіть клієнт olmOCR, що вказує на сервер vLLM
docker run --rm --network host \
    -v /path/to/documents:/documents \
    -v /path/to/output:/output \
    alleninstituteforai/olmocr:latest \
    python -m olmocr.pipeline /output/workspace \
    --server http://localhost:8000 \
    --markdown \
    --pdfs /documents/*.pdf

⚡ Розширені опції конфігурації

Оптимізація пам'яті GPU

# Оптимізувати використання пам'яті GPU
python -m olmocr.pipeline ./workspace \
    --markdown \
    --pdfs documents/*.pdf \
    --gpu-memory-utilization 0.9 \
    --max_model_len 8192 \
    --tensor-parallel-size 2

Користувацька конфігурація моделі

# Використати специфічну версію моделі
python -m olmocr.pipeline ./workspace \
    --model allenai/olmOCR-7B-0825-FP8 \
    --markdown \
    --pdfs documents/*.pdf

Налаштування якості та продуктивності

# Високоякісна обробка з користувацькими налаштуваннями
python -m olmocr.pipeline ./workspace \
    --markdown \
    --pdfs documents/*.pdf \
    --target_longest_image_dim 2048 \
    --max_page_retries 5 \
    --max_page_error_rate 0.02 \
    --workers 8 \
    --apply_filter

🏢 Корпоративне та виробниче розгортання

Налаштування багатовузлового кластера з AWS S3

Для обробки мільйонів документів через кілька серверів:

# Ініціалізувати робочий простір на першому вузлі
python -m olmocr.pipeline s3://my-bucket/workspace \
    --pdfs s3://my-bucket/documents/*.pdf

# Приєднати додаткові вузли до того ж робочого простору
python -m olmocr.pipeline s3://my-bucket/workspace

Конфігурація зовнішнього сервера vLLM

Для високопропускних виробничих середовищ:

# Запустити сервер vLLM
vllm serve allenai/olmOCR-7B-0825-FP8 \
    --served-model-name olmocr \
    --max-model-len 16384 \
    --tensor-parallel-size 4 \
    --gpu-memory-utilization 0.95

# Підключити olmOCR до зовнішнього сервера
python -m olmocr.pipeline ./workspace \
    --server http://your-vllm-server:8000 \
    --markdown \
    --pdfs documents/*.pdf

Моніторинг продуктивності та оптимізація

# Увімкнути детальну статистику
python -m olmocr.pipeline ./workspace \
    --stats \
    --markdown \
    --pdfs documents/*.pdf

📊 Перегляд і управління результатами

Структура вихідної директорії

workspace/
├── markdown/           # Читабельні людиною markdown файли
├── results/           # Вивід у форматі Dolma
└── logs/              # Журнали обробки

Перегляд конвертованого контенту

# Переглянути markdown вивід
cat workspace/markdown/document.md

# Дослідити детальні результати
cat workspace/results/output_*.jsonl

Інструмент візуального порівняння

Порівняйте оригінальні PDF з конвертованими результатами:

# Генерувати порівняння пліч-о-пліч
python -m olmocr.viewer.dolmaviewer workspace/results/output_*.jsonl

# Відкрити згенерований HTML файл в браузері
open dolma_previews/comparison.html

🔧 Коли речі йдуть не так (А вони піде)

CUDA Out of Memory (Класика)

Це трапляється з усіма. Ваша GPU закінчує VRAM:

# Зменшити використання пам'яті і спробувати знову
python -m olmocr.pipeline ./workspace \
    --gpu-memory-utilization 0.7 \
    --max_model_len 8192 \
    --pdfs documents/*.pdf

🤷‍♂️ Що каже спільнота: "Якщо ви отримуєте помилки OOM на чомусь менше ніж 20GB VRAM, це нормально. Модель просто голодна." - GitHub issue #142. Кілька користувачів підтверджують, що навіть з оптимізаціями вам дійсно потрібно повні 20GB для надійної обробки.

Модель не хоче завантажуватися

Іноді сервери HuggingFace повільні або ваше з'єднання дає timeout:

# Завантажте окремо спочатку
huggingface-cli download allenai/olmOCR-7B-0825-FP8

Дивні проблеми з шрифтами/рендерингом

PDF виглядають спотворено? Зазвичай проблема зі шрифтами:

# Ядерна опція: перевстановити всі шрифти
sudo apt-get install --reinstall ttf-mscorefonts-installer

Docker не бачить вашу GPU

Docker, ймовірно, не налаштований для доступу до GPU:

# Встановити NVIDIA Docker runtime
sudo apt-get install nvidia-docker2
sudo systemctl restart docker

Так, вам потрібно перезапустити Docker. Я це дізнався важким способом.

📈 Бенчмарки продуктивності та оптимізація

Результати бенчмарків (olmOCR v0.3.0)

МодельArXivТаблиціСтарі сканиЗагальний рахунок
olmOCR v0.3.078.672.943.978.5
Marker v1.7.576.057.627.870.1
MinerU v1.3.1075.460.917.361.5

Порівняння витрат

  • olmOCR: 6.000₴ за мільйон сторінок
  • GPT-4o API: 400.000₴ за мільйон сторінок
  • Економія витрат: 98.5% зниження витрат на обробку

Поради з оптимізації продуктивності

  1. Вибір GPU: H100 > A100 > RTX 4090 > L40S
  2. Управління пам'яттю: Використовуйте 90% утилізації GPU для максимальної пропускної здатності
  3. Пакетна обробка: Обробляйте кілька файлів одночасно
  4. Роздільність зображення: Балансуйте якість (2048px) проти швидкості (1280px)
  5. Робочі потоки: Зіставляйте кількість робочих з ядрами CPU

💡 Поради спільноти та важко вивчені уроки

Базуючись на сотнях GitHub issues та обговореннях спільноти, ось поради реального світу, які заощадять вам час:

🎯 Перевірка реальності покупок заліза

Sweet Spot вживаного ринку GPU:

  • RTX 3090 (24GB): Фаворит спільноти для olmOCR. Використовує ~20GB, залишає вам буфер 4GB. Надійна доступність на вживаному ринку
  • RTX 4080 (16GB): Технічно працює але тісно. Кілька користувачів повідомляють про проблеми OOM на складних документах
  • Мрії подвійної GPU: Зупиніться там. Кілька користувачів пробували налаштування подвійних RTX 3060 – не працює, VRAM не об'єднується

Бюджетна стратегія з Reddit: Один користувач підсумував це ідеально: "Продав своє налаштування подвійних 3060, купив вживану 3090. Перейшов від 'не працює' до 'працює чудово' за різниці в 8.000₴."

🛠️ Історії воєн встановлення

Правда управління середовищем:

  • Python 3.11 + conda: 90% рівень успіху в звітах спільноти
  • Python 3.12 + venv: 30% рівень успіху, багато пекла залежностей
  • Пропустіть 3.9/3.10: Повідомлено кілька проблем сумісності

Посібник виживання конфліктів залежностей:

# Цей специфічний порядок важливий (навчена важким способом спільнотою)
conda create -n olmocr python=3.11 -y
conda activate olmocr
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install olmocr[gpu]

🚀 Хаки продуктивності від досвідчених користувачів

Оптимізація пам'яті що дійсно працює:

# Протестований спільнотою sweet spot для RTX 3090
python -m olmocr.pipeline ./workspace \
    --gpu-memory-utilization 0.85 \
    --max_model_len 12288 \
    --workers 2 \
    --pdfs documents/*.pdf

Мудрість пакетної обробки:

  • Малі пакети (5-10 файлів): Швидше загалом, легше відновлення від збоїв
  • Великі пакети (50+ файлів): Витоки пам'яті повідомлені спільнотою, перезапускайте іноді
  • Один користувач Reddit: "Обробіть 20 файлів, перезапустіть скрипт. Нудно але надійно."

🐛 Поширені шаблони збоїв

Проблема "Працює на демо, збоїть на справжніх PDF": Кілька користувачів повідомляють про це. Справжнє рішення з обговорень GitHub:

# Додайте ці прапори для проблемних PDF
--target_longest_image_dim 1500 \
--max_page_retries 3 \
--apply_filter

Проблеми пам'яті Docker на Linux: Обхідний шлях спільноти для лімітів пам'яті Docker:

# Додати до команди docker run
--shm-size 8g --ulimit memlock=-1 --ulimit stack=67108864

🆕 Що нового в оновленнях 2025

Покращення версії 0.3.4 (серпень 2025)

  • Покращена авто-ротація: Краще виявлення орієнтації документів
  • Обробка порожніх документів: Усуває галюцинації на порожніх сторінках
  • Оптимізації продуктивності: Швидша обробка зі зменшеними повторними спробами
  • Інтеграція vLLM: Переключився з sglang на vLLM для кращої стабільності
  • Покращення Docker: Оновлено до CUDA 12.8 для підтримки найновіших GPU

Покращення моделі

  • Нові моделі FP8: allenai/olmOCR-7B-0825-FP8 для швидшого виведення
  • Приріст точності: Покращення на 3+ бали порівняно з попередніми версіями
  • Ефективність пам'яті: Зменшені вимоги VRAM при збереженні якості

🔐 Міркування безпеки та приватності

Захист даних On-Premises

  • Локальна обробка: Документи ніколи не залишають вашу інфраструктуру
  • Відповідність GDPR: Повний контроль над обробкою та зберіганням даних
  • Корпоративна безпека: Розгортайте за брандмауерами та VPN
  • Журнали аудиту: Повне логування діяльності з обробки документів

Рекомендації контролю доступу

# Обмежити мережевий доступ Docker контейнера
docker run --rm --network none \
    -v /secure/documents:/documents:ro \
    -v /secure/output:/output \
    alleninstituteforai/olmocr:latest

🚀 Підготовка вашого розгортання до майбутнього

Підтримання актуальності

# Перевірити оновлення
pip list --outdated | grep olmocr

# Оновити до останньої версії
pip install --upgrade olmocr[gpu]

# Оновити Docker образ
docker pull alleninstituteforai/olmocr:latest

Моніторинг та обслуговування

  1. Регулярні оновлення: Щомісячні перевірки нових релізів
  2. Моніторинг продуктивності: Відстежуйте швидкість обробки та точність
  3. Використання ресурсів: Контролюйте пам'ять GPU та дисковий простір
  4. Стратегії резервного копіювання: Регулярні резервні копії оброблених результатів

📚 Додаткові ресурси

Офіційна документація та підтримка

Розширені випадки використання

  • Академічні дослідження: Обробка дослідницьких статей та наукових документів
  • Юридичні документи: Оцифрування контрактів та юридичних документів
  • Історичні архіви: Оцифрування старих документів і рукописів
  • Фінансові послуги: Обробка форм і фінансових документів
  • Охорона здоров'я: Оцифрування медичних записів та обробка

🎉 Заключні думки

Буду чесним – налаштування olmOCR не тривіальне, але воно того варте. Після використання комерційних OCR сервісів роками та спостереження зростання моїх рахунків, це було справжньою зміною гри. Точність дійсно краща за більшість платних сервісів, а запуск локально означає більше ніяких турбот про приватність даних або ліміти API.

Ось що ви можете робити після дотримання цього посібника:

✅ Обробляти документи не завантажуючи їх нікуди
✅ Працювати з усім від простих PDF до складних сканованих документів
✅ Масштабуватися від окремих файлів до масивних пакетів не розориввшти банк
✅ Ніколи більше не турбуватися про ліміти швидкості API
✅ Зберігати ваші конфіденційні документи там, де вони належать – на вашій інфраструктурі

Почніть з простого PDF, подивіться як воно працює, потім масштабуйте. Початкове налаштування займає час, але ви подякуєте собі пізніше.

Застрягли на чомусь? Спільнота Discord досить корисна: discord.gg/sZq3jTNVNG

❓ Питання які я продовжую отримувати

П: Чи може це обробляти документи китайською/іспанською/чим завгодно?
В: Так, це працює з кількома мовами. Додайте --apply_filter для не-англійських речей, хоча навчання було переважно на англійських документах, тому YMMV.

П: Чи буде це працювати на моїй RTX 3090?
В: Насправді, так! 3090 працює чудово - користувачі повідомляють, що використовує близько 20GB з доступних 24GB. Вона стала популярною в спільноті як економічно ефективна опція, особливо на вживаному ринку.

П: Чи дійсно краще платних сервісів?
В: У моїх тестах, так. Вона набрала 78.5% на їхньому бенчмарку проти 70% для більшості комерційних опцій. Плюс, знаєте, це не коштує 400.000₴ за мільйон сторінок.

П: Чи мушу використовувати Docker?
В: Ні! Docker просто робить розгортання легшим. Налаштування conda працює добре якщо ви віддаєте перевагу цьому шляху.

П: Чи є плани GUI?
В: Не що я знаю. Це тільки командний рядок, але є веб демо якщо хочете тестувати файли не встановлюючи нічого.

П: Знайшов баг, що робити?
В: Подайте issue на GitHub. Команда Allen AI досить відзивна.

П: Чи є плани для підтримки multi-GPU?
В: Це функція #1 за запитами в GitHub issues. Наразі немає офіційного таймлайну, але спільнота дійсно цього хоче. Поки що ви застрягли з потребою в одній карті з високим VRAM.

П: А як щодо Apple Silicon/Mac серії M?
В: Також дуже запитувано але наразі не підтримується. Це тільки CUDA зараз. Деякі користувачі запитують про підтримку MPS але нічого конкретного поки що.

Free OLM OCR Team

Free OLM OCR Team