Kembali ke Blog
비전 언어 모델을 활용한 효율적인 PDF 텍스트 추출 —— olmOCR이 판도를 바꾸는 이유

비전 언어 모델을 활용한 효율적인 PDF 텍스트 추출 —— olmOCR이 판도를 바꾸는 이유

Author

OLMOCR Team

2025년 3월 3일

olmOCR 파이프라인 캡션: olmOCR의 엔드 투 엔드 파이프라인은 지저분한 PDF를 GPT-4o 비용의 1/32로 구조화된 Markdown 텍스트로 변환합니다.

PDF의 숨겨진 난제: 일반 텍스트가 중요한 이유

언어 모델은 깔끔한 텍스트에서 탁월한 성능을 발휘하지만, **PDF는 궁극의 '애증의 대상'**입니다. 인쇄용으로 설계되어 파싱에는 적합하지 않으며, 텍스트 위치를 뒤섞고, 표를 바이너리 코드로 숨기며, 수식을 시각적 퍼즐로 만듭니다. 기존 OCR 도구는 서식을 놓치거나, 다단 레이아웃에 어려움을 겪거나, 엄청난 비용을 청구하는 경우가 많습니다.

olmOCR은 비전 언어 모델(VLM)과 스마트 엔지니어링을 결합하여 PDF 코드를 해독하는 오픈 소스 툴킷입니다. 개발자와 연구자들이 왜 이 툴킷에 열광하는지 자세히 살펴보겠습니다.

olmOCR이 다른 도구보다 뛰어난 5가지 이유

  1. 무시하기 어려운 비용 효율성 비용 비교 차트 100만 페이지를 190달러에 처리합니다. 이는 GPT-4o 배치 API보다 32배 저렴합니다. 어떻게 가능할까요? 25만 개의 다양한 페이지(학술 논문, 법률 문서, 심지어 손으로 쓴 편지)에 대한 미세 조정과 SGLang/vLLM을 사용한 추론 최적화를 통해 가능합니다.

  2. Markdown 마법 더 이상 정규 표현식의 악몽은 없습니다. olmOCR은 다음과 같은 기능을 갖춘 깔끔한 Markdown을 출력합니다.

    • 수식 보존 (E=mc²)
    • 표 유지
    • 복잡한 레이아웃의 올바른 읽기 순서

  3. 모든 것이 포함된 파이프라인

    python -m olmocr.pipeline ./workspace --pdfs your_file.pdf

    1개에서 100개 이상의 GPU로 원활하게 확장됩니다. 내장된 오류 처리는 메타데이터 손상과 같은 일반적인 PDF 문제를 해결합니다.

  4. 오픈 소스, 블랙 박스 없음 가중치, 훈련 데이터(예, 25만 페이지 모두!), 코드 모두 공개되어 있습니다. Qwen2-VL-7B-Instruct를 기반으로 구축되었으며, 독점적인 종속성이 없습니다.

  5. 인간이 입증한 우수성 ELO 순위 Marker, GOT-OCR 2.0 및 MinerU와의 블라인드 테스트에서:

    • 비교의 **61%**에서 승리
    • ELO >1800(골드 표준) 달성

내부 구조: olmOCR 구축 방법

문서 앵커링: 핵심 비법

문서 앵커링 다이어그램 캡션: 텍스트 + 이미지 컨텍스트 = 정확한 추출.

훈련 중에 PDF 자체의 텍스트/메타데이터를 사용하여 VLM을 "앵커링"합니다.

  1. 텍스트 블록 및 이미지 영역 추출
  2. 모델 프롬프트에서 결합
  3. GPT-4o가 "골드 표준" 레이블 생성

결과? 텍스트가 무엇을 말하는지, 그리고 어디에 속하는지 모두 이해하는 모델입니다.

실제 환경을 위한 훈련

  • 데이터 세트: 학술 논문 60%, 브로셔 12%, 법률 문서 11%
  • 하드웨어: NVIDIA GPU에 최적화, 유사한 설정보다 에너지 사용량 90% 감소
  • 미세 조정: 문서 "대화"에 맞게 Qwen2-VL-7B-Instruct 조정

3분 만에 olmOCR 사용해 보기

  1. 설치 
    git clone https://github.com/allenai/olmocr && cd olmocr
pip install -e .
  2. 샘플 PDF 실행 
    python -m olmocr.pipeline ./demo_output --pdfs tests/gnarly_pdfs/horribleocr.pdf
  3. Markdown 확인 ./demo_output/horribleocr.md를 엽니다. 표, 수식 및 텍스트 흐름이 그대로 유지되어 있습니다!

최종 결론

olmOCR은 단순한 도구가 아니라 패러다임의 전환입니다. VLM과 투명한 엔지니어링을 결합하여 모든 사람이 고품질 텍스트 추출에 접근할 수 있도록 합니다. 연구 자료를 구축하든, 송장 처리를 자동화하든, 이 툴킷은 여러분의 스택에 포함되어야 합니다.

다음 단계

PDF의 고통을 일반 텍스트의 이점으로 바꾸세요! 🚀