記事本文
出典: Yiming Zhang et al., “Scalable Visual Pretraining for Language Intelligence”, arXiv preprint (2026-07-10)
URL: https://arxiv.org/abs/2607.09657v1
機関: Shanghai AI Laboratory, USTC, Zhejiang University, Shanghai Jiao Tong University
注意: 本論文は査読前のarXiv preprintです。実験結果は独立した外部検証を経ていません。
あなたの会社のAIは、PDFの「意味」を本当に読んでいるか
「社内の技術マニュアルをAIに読み込ませたが、図の説明が理解できていない」「論文や報告書を要約させると、重要な数式や表の内容が抜け落ちる」——そういった経験はないだろうか。
多くの企業がAIにPDFを読ませるとき、そのAIが実際に扱っているのはPDFそのものではない。OCRや文書パーサーがPDFをテキストに変換した後のデータだ。図はキャプション文字列に、数式はLaTeX記法や近似テキストに、表は行・列の区切りを失ったフラットなテキストに変換される。AIはその「テキスト化された後の世界」を学習している。
上海人工智能実験室（Shanghai AI Laboratory）を中心とする研究グループが2026年7月に発表したarXiv論文は、この「テキスト変換を前提にした学習」という常識に疑問を投げかける。PDFページを画像としてそのまま学習させる手法（Visual Pretraining、以下VP）が、テキストに変換してから学習する従来の手法（Text Pretraining、以下TP）を、科学的推論の複数ベンチマークで一貫して上回ったという実証結果を示している。
テキスト変換で失われるもの——図・数式・表・レイアウトの情報損失
PDFを「読む」とき、人間は無意識に多くの視覚的手がかりを使っている。数式の構造、図中の矢印と文字の位置関係、表の行と列が交差するセルの意味、ページ上の空間的な配置——これらは文書が伝えたい内容の一部をなしている。
テキスト変換（OCRやパーサーの処理）はこの視覚的構造を平坦化する。論文が言う表現を借りれば、「テキスト化はリッチな構造のプロジェクション（射影）に過ぎない」。元の文書が持つ幾何的な制約、記号のつながり、空間的なグルーピングが、テキスト変換の時点で失われる。
特に科学文書（論文・技術報告書・教科書）はこの損失が大きい。数式のトポロジー、図と本文の対応関係、テーブルの構造——これらは科学的推論に必要な情報を直接担っているにもかかわらず、テキスト変換後には正確に復元できない。現在のLLM学習パイプラインは、この情報損失を前提として設計されている。
「画像のまま学習する」とは何か——Visual Pretainingの直感的な仕組み
VPのアイデアはシンプルだ。PDFページをテキストに変換せず、ページを画像としてレンダリングし、その画像をそのまま学習に使う。
技術的な細部を省いて説明すると、VPでは各PDFページを画像として処理し、余白など空白が多い部分を除いた「前景パッチ」に分解する。そのパッチの並びを順番に予測するタスクをLLMに与えることで、ページの視覚的な構造——図の配置、数式の形、表の構成——をモデルが内部表現として獲得できるようにする。
テキスト事前学習との大きな違いは予測対象だ。TPは「次に来るテキストトークン」を予測する。VPは「次に来る視覚パッチの特徴」を予測する。どちらも「次を予測する」という自己回帰の枠組みを使っているが、TPがテキスト化後の世界しか見ないのに対して、VPは文書の視覚的な原形から直接学ぶ。
flowchart LR
subgraph TP["テキスト事前学習（TP）"]
direction TB
A1[PDFページ] --> B1[OCR / パーサー処理]
B1 --> C1[テキストトークン列]
C1 --> D1[LLM学習]
B1 -. 失われるもの .-> E1["図の配置<br/>数式の構造<br/>表の行列関係<br/>レイアウト情報"]
end
subgraph VP["視覚事前学習（VP）"]
direction TB
A2[PDFページ] --> B2[画像としてレンダリング]
B2 --> C2[前景パッチ列]
C2 --> D2[LLM学習]
B2 -. 保持されるもの .-> E2["図の配置<br/>数式の構造<br/>表の行列関係<br/>レイアウト情報"]
end重要なのは、VPはテキスト学習を置き換えるのではなく、テキスト学習と組み合わせて使うという点だ。同じドキュメントコーパスを、テキスト形式と視覚形式の両方でモデルに提示する。これにより、テキストでは捉えきれなかった情報を視覚的に補完できる。
実験が示した3つの事実——性能・効率・クロスモーダル
この研究が際立っている理由の一つは、実験設計の厳密さだ。VPとTPの比較は「同一のPDFコーパス、同一の出発チェックポイント、同一のSFT（指示チューニング）段階」という制御された環境で行われ、違いは文書の表現形式（視覚 vs テキスト）だけに限定されている。バックボーンもQwen3.5、Qwen3、Llama3.2 Vision、Llama3.1の4種類で検証されており、特定のアーキテクチャに依存しない結果が確認されている。
事実1：性能——VPはTPを4つのバックボーン全てで上回った
科学的推論ベンチマークでの結果は以下のとおりだ（論文テーブル記載値、arXiv preprint 2026-07-10）。
| 手法 | MMLU-Pro（Qwen3.5） | GPQA Diamond（Qwen3.5） | AIME 2025（Qwen3.5） |
|---|---|---|---|
| ベースモデル | 82.31 | 77.84 | 81.56 |
| テキスト事前学習（TP） | 83.91 | 76.24 | 89.58 |
| 視覚事前学習（VP） | 85.09 | 79.29 | 90.21 |
GPQA Diamond（専門的な科学的推論テスト）でVPはTPより最大3.22ポイント高い。表のQwen3.5では76.24から79.29へ3.05ポイント、Llama3.1では43.88から47.10へ3.22ポイント改善した。MMLU-Proでは最大2.1ポイントの改善が確認された。注目すべきは、Llama系のテキストonlyモデルでもマルチモーダルモデルでも、同様の傾向が見られた点だ。
一方でHLE（Humanity’s Last Exam）では改善幅がわずか（最大0.97ポイント）にとどまった。論文はその理由について、HLEの難しさは視覚的な情報量よりも多段階の論理推論に依存しているためと説明している。
事実2：効率——VPはTPの25%のトークン予算で同等以上を達成
同じPDFコーパスから、TPは約80Bのテキストトークンを生成する。VPが使う視覚トークンは約20Bだ。つまり、VPは4分の1のトークン量で、TPを上回る推論能力を獲得している。
学習の進行を見ると、MMLU-ProでVPはTPの1.27倍、GPQAで2.02倍、AIME-25で2.88倍の正規化利得を達成した。また、図・数式・表・レイアウトが密なページ（高密度ページ）ほどVPの優位性が大きく、テキストが支配的な低密度ページではTPとほぼ同等だった。これは、VPの効果がテキスト化で失われる視覚的構造の補完に由来することを示している。
事実3：クロスモーダル——ラベルなし学習で画像テキスト整合が劇的に改善
VPは画像とテキストのペアデータを一切使わずに学習する（unlabeled visual pretraining）。それにもかかわらず、科学文書100件のimage-textペアを使った検索実験では、R@1（1位での正解率）が64.0%から99.0%に上昇した。テキスト埋め込みと視覚埋め込みが同じ表現空間に近づいていることを示す指標（コサイン類似度）も0.631から0.907に改善された。
これは、視覚的な文書を予測対象として学習させるだけで、テキストと画像の意味的な整合が自然に生まれることを示唆している。
業務文書AIとしての実務示唆——何を確認すべきか
この研究結果は、AI基盤モデルを選定・評価する実務担当者にとっていくつかの確認ポイントを示している。
確認すべき問い3点
-
自社で使うLLMは、文書をどのような形式で学習しているか
ベンダーの技術ブログ、モデルカード、データシートに「pretraining data format」「document processing」「PDF handling」に関する記述があるかを確認する。VPやnative visual pretrainingに相当する学習を行っているかどうかが一つの判断材料になりうる。 -
対象ドキュメントに図・数式・表・複雑なレイアウトが多いか
自社のAIユースケースが、テキスト主体の文書（メール、議事録、単純な契約書）を扱うのか、視覚的に構造化された文書（技術報告書、財務資料、論文、マニュアル）を扱うのかで、モデル選定の優先軸が変わる可能性がある。視覚的に密な文書を対象とするほど、VPのような学習設計を持つモデルの優位性が出やすい。 -
PDFや技術文書の読み取り精度が業務課題になっていないか
「AIに文書を読ませているが、図や表の内容が反映されない」「マニュアルを参照させても重要な手順が抜ける」という問題が出ている場合、その原因の一つとして「使用LLMのテキスト変換依存」が考えられる。AI診断・環境評価の観点として、モデルの文書学習形式を確認項目に加える価値がある。
AI導入・AI基盤構築を検討している段階では、「精度が出ない」という結果だけを評価するのではなく、「そのモデルが文書のどの情報にアクセスして学習しているか」という設計レベルの問いを持つことが、モデル選定や活用方針の判断精度を上げる。
限界と注意点——査読前論文・科学PDF限定という制約
この研究の結果を活用する前に、いくつかの制約を認識しておく必要がある。
査読前論文である: 本論文はarXiv preprintであり（公開日：2026-07-10）、現時点で査読済みの学術論文ではない。実験結果の独立した外部検証はまだ行われていない。
実験対象は高知識密度の科学PDFに限定: VPの効果が確認されたのは、図・数式・表・レイアウトが密接に結びついた科学文書コーパスだ。自然画像、動画、一般的なビジネス文書、あるいは視覚的構造が少ない文書への適用可能性は本論文では検証されていない。
実装済み製品への即時適用を保証するものではない: 本研究は学術的な実験環境（上海AI Laboratoryら複数機関による分散クラスタ）で行われた継続事前学習（CPT）の研究だ。現在市場に出ているLLM製品がVPを採用しているかどうかは、各ベンダーの情報を確認する必要がある。
トークン予算の比較は直接比較ではない: VPが25%のトークン予算でTPを上回ったという数値は、同じPDFコーパスをそれぞれの形式で表現した場合の比較であり、総学習コストや計算リソースの直接比較ではない。
AIの「文書理解力」を問う視点を持つ
「LLMにPDFを読ませている」と表現するとき、そのLLMが実際にアクセスしているものは何か——この研究はその問いに新しい角度を加えた。
テキストに変換された後の文書からしか学習できないモデルと、文書の視覚的な原形から学習できるモデルでは、科学的・技術的な推論能力に差が生まれる可能性がある。その差は現時点では数ポイントのベンチマーク改善として示されているが、業務上の意思決定に使う文書の性質によっては、その差が実務的な意味を持ちうる。
次にできる一歩は小さくていい。自社で使っているLLMのドキュメントや技術仕様を確認し、「どのような形式の文書で学習されているか」を調べてみることだ。その確認が、AI活用の評価軸に「文書理解力」という視点を加える出発点になる。
自社ユースケースでPDFや技術文書の扱いが重要なら、実環境での追加検証項目として扱う価値がある。
出典
Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, et al., “Scalable Visual Pretraining for Language Intelligence”, arXiv preprint, 2026-07-10.
https://arxiv.org/abs/2607.09657v1
Shanghai AI Laboratory / University of Science and Technology of China / Zhejiang University / Shanghai Jiao Tong University