マルチモーダル機械学習エンジニアのインタビュー質問

1画像とテキストの表現を整合させる対照学習（contrastive learning）の核となる考え方を説明し、共有埋め込み空間（shared embedding space）が有用である理由を述べてください。

画像とテキストの表現における対照学習（contrastive learning）の核となる考え方は、画像とテキストの入力を共有の潜在ベクトル空間に射影し、意味的に一致するペア（正例）を近づけ、一致しないペア（負例）を遠ざけることです。コサイン類似度などの類似度目的関数を用いて画像エンコーダとテキストエンコーダを別々に訓練することで、モデルは連続的な視覚ピクセルの意味と離散的なテキストトークンの意味を整合させます。 共有埋め込み空間が有用なのは、ベクトル類似度検索によってマルチモーダルなタスクを直接解決できるためです。この統一された空間内では、クロスモーダル検索（テキストクエリに基づく画像の検索、またはその逆）やゼロショット分類（「犬の写真」などのプロンプト埋め込みに対して画像の埋め込みを評価する処理）が、タスク固有の分類ヘッドを必要とせず、シンプルで極めて効率的な最近傍探索や内積計算によって実現できます。

import torch
import torch.nn.functional as F

# image_features: [B, D], text_features: [B, D]
image_norm = F.normalize(image_features, dim=-1)
text_norm = F.normalize(text_features, dim=-1)

# Pairwise cosine similarity matrix: [B, B]
sim_matrix = image_norm @ text_norm.T
# Positive pairs lie on the diagonal; off-diagonals are negatives

AI コーチを使ってこの質問に答えてみる

2CLIP（Contrastive Language-Image Pre-training）形式のデュアルエンコーダアーキテクチャと、それが画像とテキストの相互作用に関して置いている前提について説明してください。

CLIP形式のデュアルエンコーダアーキテクチャは、互いに独立した2つの疎結合なニューラルネットワークで構成されています。画像を視覚特徴ベクトルに変換する画像エンコーダ（Vision Transformer や ResNet など）と、テキストをテキスト特徴ベクトルに変換するテキストエンコーダ（Transformer など）です。両者の表現は共通の埋め込み空間に射影され、正規化されたコサイン類似度や内積（ドット積）などの単純な類似度指標を用いてアライメントが測定されます。 このアーキテクチャの根本的な前提は、レイトフュージョン（後段統合、または分離されたクロスモーダル相互作用）です。画像とテキストのモダリティは、中間層においてクロスアテンションやトークンレベルの相互作用を通じて干渉しません。その代わり、各モダリティの完全な意味論（セマンティクス）は単一の密な要約ベクトルへと圧縮可能であり、クロスモーダルな相互作用は内積演算へと完全に分解可能であると仮定しています。このトレードオフは、きめ細かなクロスモーダル推論（トークンと領域のグラウンディングや複雑な構文的・空間的関係の把握など）を犠牲にする一方で、極めて高い検索効率（数十億規模のベクトル検索に向けた画像埋め込みの事前計算など）を優先しています。

import torch
import torch.nn as nn
import torch.nn.functional as F

class CLIPDualEncoder(nn.Module):
    def __init__(self, visual_encoder, text_encoder, img_dim, txt_dim, embed_dim):
        super().__init__()
        self.visual_encoder = visual_encoder
        self.text_encoder = text_encoder
        self.img_proj = nn.Linear(img_dim, embed_dim, bias=False)
        self.txt_proj = nn.Linear(txt_dim, embed_dim, bias=False)
        self.logit_scale = nn.Parameter(torch.ones([]) * 2.659)

    def forward(self, images, text_tokens):
        # Independent uncoupled encoding
        v_feat = self.img_proj(self.visual_encoder(images))
        t_feat = self.txt_proj(self.text_encoder(text_tokens))
        # L2 normalize
        v_norm = F.normalize(v_feat, p=2, dim=-1)
        t_norm = F.normalize(t_feat, p=2, dim=-1)
        # Late interaction via dot product
        return torch.matmul(v_norm, t_norm.T) * self.logit_scale.exp()

AI コーチを使ってこの質問に答えてみる

3画像とテキストの特徴量を共通の正規化空間に射影し、コサイン類似度を最適化する背後にある直感的な理由を説明してください。

画像とテキストの特徴量を共通の正規化空間（通常はL2正規化による単位超球面上）に射影し、コサイン類似度を最適化することで、埋め込みの意味的な方向性がベクトルの大きさから切り離されます。正規化を行わない制約のない内積では、モデルは意味的な方向を揃えるのではなく、学習しやすいサンプルや頻出サンプルの特徴量ノルムを単純に増大させることで損失を最小化できてしまいます。ベクトルを単位超球面上に正規化すると類似度の値が厳密に [-1, 1] の範囲に収まり、距離が純粋に角度の開きに対応するようになります。これにより、最適化時の勾配が安定し、表現の爆発や崩壊が防止され、モダリティ固有のスケール差に関係なくバッチ内のすべてのサンプルが均等に損失に寄与するようになります。また、学習可能な温度パラメータと組み合わせることで、超球面上の確率分布の鋭さを制御し、正例ペアのアライメント（整列）と負例ペアの均一な分散とのバランスを取ることができます。

import torch
import torch.nn.functional as F

# Unnormalized embeddings with extreme norm differences
v = torch.tensor([[10.0, 0.0], [0.1, 0.0]])
t = torch.tensor([[5.0, 0.0], [0.1, 0.0]])

# Raw dot products: heavily distorted by magnitude (50.0 vs 0.01)
raw_dot = v @ t.T

# L2 Normalized:
v_norm = F.normalize(v, p=2, dim=-1)
t_norm = F.normalize(t, p=2, dim=-1)
cosine_sim = v_norm @ t_norm.T
print('Cosine similarity matrix:\n', cosine_sim)

AI コーチを使ってこの質問に答えてみる

4言語を条件とする局所化（ローカリゼーション）としてのビジュアルグラウンディング（Visual Grounding）および参照表現理解（Referring Expression Comprehension）について説明し、それらが画像レベルの類似度とどのように異なるかを述べてください。

ビジュアルグラウンディング（多くの場合、参照表現理解、すなわちREC（Referring Expression Comprehension）として具体化されます）は、自然言語による参照表現（例：「街灯の横にいる青いジャケットを着た男性」）に基づいて、画像内の特定の視覚領域、バウンディングボックス、またはセグメンテーションマスクを特定・局所化するタスクです。これは局所化を言語によって条件付けられた処理として扱い、モデルは言語上の空間関係、属性、および物体の識別情報をピクセルや空間座標にまで落とし込んで解決する必要があります。これは、画像全体とテキスト文字列の間の包括的な単一の意味的類似度スコアを算出する画像レベルの類似度（例：画像が「公園にいる男性」というキャプションと一致するかどうかの判定）とは根本的に異なります。画像レベルの類似度は空間座標を出力せず、参照された対象物が一意に特定されていない画像でも一致と判定される可能性があり、同一シーン内に存在する複数の類似した物体同士の細かな参照の曖昧さ解消には対応できないことがよくあります。

# Image-level similarity:
# Input: Image I, Text T ("black dog sitting on the left")
# Output: scalar score s in [0, 1] or dot product
similarity_score = image_text_model(image, text)

# Referring Expression Comprehension (Visual Grounding):
# Input: Image I, Text T ("black dog sitting on the left")
# Output: Bounding box coordinates [x_min, y_min, x_max, y_max]
bbox = grounding_model.predict_box(image, text)

AI コーチを使ってこの質問に答えてみる

5マルチモーダルTransformerにおいて、視覚トークンとテキストトークンを融合するメカニズムとしてのクロスアテンション（cross-attention）について説明してください。

マルチモーダルTransformerにおいて、クロスアテンションは非対称な融合メカニズムとして機能し、一方のモダリティがクエリ（Q）を発行して、他方のモダリティから抽出されたキー（K）およびバリュー（V）に対してアテンションを向けます。たとえば、視覚トークンがクエリとして機能し、テキストトークンがキーおよびバリューとして機能する場合、各視覚トークンはテキスト表現に対するアテンション重み付き和を計算し、テキストの文脈に基づいて視覚特徴量を動的に条件付けします（テキストが視覚トークンにクエリを発行する場合はその逆となります）。数式上、視覚シーケンス X_v とテキストシーケンス X_t が与えられたとき、クロスアテンションは次のように計算されます：CrossAttention(Q_v, K_t, V_t) = softmax((Q_v * K_t^T) / sqrt(d)) * V_t。ここで、Q_v = X_v * W_Q、K_t = X_t * W_K、V_t = X_t * W_V です。このメカニズムにより、シーケンス長や初期特徴空間の違いにかかわらず、モデルはモダリティ間でトークン単位のきめ細かな意味的アライメントを実行できます。双方向の融合は、2つの対称なクロスアテンション層（視覚から言語へ、および言語から視覚へ）を使用するか、クロスアテンションブロックを交互に配置することで実現できます。

import torch
import torch.nn as nn

class MultimodalCrossAttention(nn.Module):
    def __init__(self, d_model, n_heads):
        super().__init__()
        self.mha = nn.MultiheadAttention(embed_dim=d_model, num_heads=n_heads, batch_first=True)
        self.norm = nn.LayerNorm(d_model)

    def forward(self, visual_query_tokens, text_kv_tokens):
        # visual_query_tokens: [B, N_v, D], text_kv_tokens: [B, N_t, D]
        attn_out, _ = self.mha(
            query=visual_query_tokens, 
            key=text_kv_tokens, 
            value=text_kv_tokens
        )
        # Residual connection and normalization
        output = self.norm(visual_query_tokens + attn_out)
        return output

AI コーチを使ってこの質問に答えてみる

6切り抜き（クロッピング）、カラーディザリング/ジッター、圧縮などの画像データ拡張が、画像とテキストの対照整列（contrastive alignment）にどのように寄与または悪影響を及ぼすかを説明してください。

マルチモーダル対照学習（CLIPなど）における画像データ拡張は、単一モーダルの自己教師あり学習（SimCLRなど）とは異なる役割を果たします。同じ画像の別の拡張データ同士を比較するのではなく、ペアとなるテキストキャプションと画像を比較するため、データ拡張は表現学習に寄与する場合もあれば、それを損なう場合もあります。 データ拡張が寄与する点: 1. ショートカット学習の防止: 軽微なデータ拡張（ランダムクロッピング、軽度の左右反転、適度なカラージッターなど）は、視覚エンコーダが背景の色分布、隅の透かし、空間的な位置バイアスなどの些細な低レベルのアーティファクトに依存することを防ぎます。 2. 視点およびスケール不変性: 適度なスケーリングとクロッピングにより、モデルが異なる焦点距離や視点にわたって意味的なオブジェクトを識別できるようになり、頑健なゼロショット汎化性能が確保されます。 データ拡張が悪影響を及ぼす点（意味的な不整合）: 1. 過度なランダムクロッピング: キャプションが特定のオブジェクト（「木の枝に止まっている鳥」など）を説明している場合、過度なクロッピングによって鳥が完全に切り落とされると、残された画像（葉や空のみ）が鳥のキャプションと無理やり対応付けられてしまいます。これにより誤った教師信号のノイズが生じ、検索精度が低下します。 2. 強いカラージッター / 色相反転: 多くのキャプションは色の属性（「黄色いタクシー」「赤いリンゴ」など）を明示的に記述しています。大幅な色の変化によってタクシーが青くなったりリンゴが緑になったりすると、視覚入力とテキストキャプションの間に直接的な意味の矛盾が生じます。 3. 強力なブラーおよび圧縮: 過度な空間的ダウンサンプリング、JPEG圧縮、またはガウシアンブラーは、ペアとなるキャプションに明示的に記載されている詳細なテキストの手がかり（看板のOCRテキスト、ロゴ、細かな質感など）を破壊します。 実践上の指針: マルチモーダル対照学習では、単一モーダルの自己教師あり学習に比べて、大幅に保守的なデータ拡張（スケール範囲 [0.5, 1.0] の Random Resized Crop や軽度の反転など）が求められます。

from torchvision import transforms

# Multimodal contrastive transform: conservative to preserve caption semantics
clip_transforms = transforms.Compose([
    transforms.RandomResizedCrop(224, scale=(0.5, 1.0)),  # Conservative crop avoids dropping described entities
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.481, 0.457, 0.408], std=[0.268, 0.261, 0.275])
])

# Unimodal self-supervised transform: aggressive, risks breaking image-text alignment
simclr_heavy_transforms = transforms.Compose([
    transforms.RandomResizedCrop(224, scale=(0.08, 1.0)), # Extreme crop can remove captioned subjects
    transforms.RandomApply([transforms.ColorJitter(0.8, 0.8, 0.8, 0.2)], p=0.8), # Alters color adjectives
    transforms.RandomGrayscale(p=0.2),
    transforms.GaussianBlur(kernel_size=23, sigma=(0.1, 2.0)), # Destroys fine OCR/textures
    transforms.ToTensor()
])

AI コーチを使ってこの質問に答えてみる

7タスクとしての画像・テキスト検索を説明し、大規模コーパスにおける閉集合マッチングとオープンワールド検索の違いについて説明してください。

画像・テキスト検索は、一方のモダリティのクエリが与えられた際に、モダリティをまたいで対応するデータを見つけるタスク（テキストから画像への検索、または画像からテキストへの検索）です。通常、画像とテキストの双方を共有の表現空間にマッピングし、空間上の類似度が関連性と相関するように学習させることで実現します。 閉集合マッチング（closed-set matching）は、正解となるペアが既知である固定かつ事前定義された候補プール（Flickr30kやMS-COCOなどの標準ベンチマークなど）を前提としており、すべてのペアに対する総当たりの類似度計算や、全対全のクロスアテンション（cross-attention）の適用が可能です。 一方、オープンワールド検索（open-world retrieval）は、数百万から数十億規模のWebデータやカタログ商品など、動的でキュレーションされていない大規模コーパスを対象とします。候補プールには制約がなく、無関係なアイテム（distractor）や偽陰性が多く存在します。また、すべてのペアに対して総当たりでクロスアテンションを適用することは計算量的に不可能なため、スケーラブルな近似最近傍探索（ANN: Approximate Nearest Neighbor）インデックス（FaissやHNSWなど）が必要になります。

import torch
import torch.nn.functional as F

# Closed-set matching: full pairwise similarity matrix over fixed evaluation set
image_embeds = F.normalize(torch.randn(1000, 512), dim=-1)
text_embeds = F.normalize(torch.randn(1000, 512), dim=-1)
sim_matrix = torch.matmul(text_embeds, image_embeds.T)  # (1000, 1000)

# Open-world retrieval: query vector queried against an indexed corpus using ANN
# index = faiss.IndexHNSWFlat(512, 32)
# distances, indices = index.search(query_embed, k=10)

AI コーチを使ってこの質問に答えてみる

8画像とテキストの埋め込み学習において、InfoNCE 形式のソフトマックス対照損失とペアごとのシグモイド損失を比較してください。

InfoNCE 形式の対照損失（CLIP など）は、アライメントをカテゴリカルな多クラス分類問題として扱います。各サンプルに対してバッチ内のすべての負例候補ペアに対するソフトマックス分布を計算し、バッチプール全体で類似度を正規化します。対照的に、ペアごとのシグモイド対照損失（SigLIP など）は、画像とテキストの類似度行列の各要素を独立した二値分類タスクとして扱い、ペアごとにシグモイド関数と二値クロスエントロピー損失を適用します（正例ペアのターゲットは +1、負例ペアのターゲットは -1）。主な相違点は以下のとおりです： 1. 結合（Coupling）と非結合（Decoupling）：InfoNCE は、グローバルなソフトマックスの分母を通じてすべての負例を結合させるため、最も識別が難しい負例（ハードネガティブ）が勾配を支配するという競争が生じます。SigLIP はすべてのペアを切り離し、それぞれを独立して評価します。 2. 分散環境でのスケーラビリティと効率性：InfoNCE では、グローバルな正規化を行うために GPU 間で類似度行列を集約する必要があり、All-Gather 通信がボトルネックになります。SigLIP の独立したペアワイズ損失は、GPU 間をまたぐ大域的なソフトマックス正規化を行わずにローカルに計算できるため、スケーリング効率が向上し、小規模から超大規模までのバッチサイズにわたって安定性を維持できます。

import torch
import torch.nn.functional as F

def siglip_loss(sim_matrix, temperature, bias):
    # sim_matrix: [B, B] dot product of normalized embeddings
    # targets: 1 on diagonal (positive), -1 on off-diagonals (negative)
    B = sim_matrix.size(0)
    targets = 2 * torch.eye(B, device=sim_matrix.device) - 1.0
    logits = sim_matrix * temperature + bias
    # Pairwise binary cross entropy with log-sigmoid
    return -torch.mean(F.logsigmoid(targets * logits))

AI コーチを使ってこの質問に答えてみる

9画像とテキストの対照学習において、ハードネガティブ（hard negatives）とフォールスネガティブ（false negatives）がどのような影響を与えるか説明してください。

ハードネガティブとフォールスネガティブは、画像・テキスト対照学習において対照的な影響を与えます。 1. ハードネガティブ（Hard negatives）: アンカーに対して意味的または視覚的に非常に近いものの、実際には一致していないペアを指します（例: シベリアン・ハスキーの画像と「アラスカン・マラミュート」というキャプションの組み合わせ）。ハードネガティブは、強度が大きく情報量の多い勾配シグナルを提供します。これにより、モデルは大まかなカテゴリ特徴にとどまらず、きめ細かな視覚・言語の詳細やシャープな決定境界を学習するよう促されます。 2. フォールスネガティブ（False negatives）: バッチ内でランダムにサンプリングされた「ネガティブ」ペアが、実際には意味的に正しく一致している場合に発生します（例: ゴールデン・レトリバーの2枚の異なる写真のうち一方が、「公園にいる可愛いゴールデン・レトリバー」というテキストに対するネガティブペアとして扱われるケース）。フォールスネガティブは、本来正しく一致している表現同士を引き離すようモデルに強いるため、正しい意味的一致に対してペナルティを課してしまいます。これにより勾配が汚染され、表現の品質が低下し、妥当な同義性や視覚的バリエーションが損なわれます。 フォールスネガティブの緩和策としては、ソフトラベルやラベル平滑化（label smoothing）を用いた対照目的関数、バイアス除去対照学習（debiased contrastive learning）、データセットの重複排除、マルチポジティブマッチング（multi-positive matching）などが挙げられます。

import torch
import torch.nn.functional as F

# Image 0 and Image 1 both depict 'a red sports car'
# Text 0: 'a red sports car', Text 1: 'a fast red car'
# In standard InfoNCE, Text 1 is treated as a negative for Image 0.
sim = torch.tensor([[0.95, 0.90],   # Image 0 similarities
                    [0.88, 0.94]])  # Image 1 similarities

loss_img0 = -F.log_softmax(sim / 0.07, dim=-1)[0, 0]
print(f'InfoNCE loss for Image 0: {loss_img0.item():.4f}')
# High similarity to false negative Text 1 (0.90) heavily penalizes the model

AI コーチを使ってこの質問に答えてみる

10画像とテキストの大域的アラインメントと、領域・単語レベルまたはトークンレベルのアラインメント目的関数を比較してください。

大域的な画像・テキストアラインメントは、画像全体およびテキストシーケンス全体をそれぞれ単一の包括的な埋め込みベクトル（CLIP のプーリング特徴量など）に写像し、InfoNCE などの対照学習（コントラスト学習）の目的関数を用いてアラインメントを行います。この手法は優れたスケーラビリティを備え、検索向けに高速にインデックス可能な表現を提供し、強力な意味的クラスタリングを実現します。しかし、空間的な粒度が粗く、きめ細かな視覚的詳細、構成性（compositionality）、カウント、空間的関係性の扱いに苦戦しやすく、属性バインディング（属性の誤対応）の問題が頻繁に発生します。 対照的に、領域・単語レベルまたはトークンレベルのアラインメントは、部分画像（パッチトークン、オブジェクトのバウンディングボックス特徴量など）および部分文（単語トークン、サブワードトークンなど）のきめ細かい粒度で動作します。FILIP、GLIP、VinVL などの手法は、きめ細かい対照損失（トークン単位の最大類似度や Chamfer 類似度など）や最適輸送 / クロスアテンションによるアラインメントを通じてトークンを対応付けます。これにより、空間的および言語的な構成の詳細が明示的に保持され、物体検出、ビジュアルグラウンディング、正確な属性バインディングが可能になりますが、計算およびメモリの複雑度が増大し、推論レイテンシが重くなり、アラインメントシグナルにノイズが含まれやすくなるという代償を伴います。

import torch
import torch.nn.functional as F

# visual_tokens: [B, N_v, D], text_tokens: [B, N_t, D]
def token_level_maxsim_similarity(visual_tokens, text_tokens):
    v_norm = F.normalize(visual_tokens, dim=-1)
    t_norm = F.normalize(text_tokens, dim=-1)
    # Compute similarity matrix between all visual and text tokens: [B, N_t, N_v]
    sim_matrix = torch.bmm(t_norm, v_norm.transpose(1, 2))
    # Text-to-image: For each word token, find maximum visual token similarity and average
    t2i_sim = sim_matrix.max(dim=-1).values.mean(dim=-1) # [B]
    return t2i_sim

AI コーチを使ってこの質問に答えてみる

11マルチモーダルモデルにおけるEarly Fusion（早期統合）、Late Fusion（後期統合）、Intermediate Fusion（中間統合）、Cross-Attention Fusion（交差注意統合）、Gated Fusion（ゲート付き統合）、およびConcatenation（連結）を比較してください。

マルチモーダルの統合戦略は、視覚と自然言語のシグナルを様々な深度や構造的構成で統合します。 1. Early Fusion（早期統合）: 生データまたは低レベルの特徴量（例: 画像パッチ埋め込みや単語トークン埋め込み）を入力段階で結合し、単一の共有バックボーンに入力します。これにより最初の層から深いモーダル間相互作用が可能になりますが、計算コストが高く、単一モーダルで事前学習した重みの再利用が難しくなります。 2. Late Fusion（後期統合）: 各モダリティを独立した深い単一モーダルバックボーンによってグローバルな表現ベクトルへと処理し、最終段階でのみ単純な集約（例: 内積、コサイン類似度、浅いMLP）によって結合します。非常に効率的でインデックス作成を伴う検索に適していますが、きめ細かなモーダル間の相互作用を捉えることはできません。 3. Intermediate Fusion（中間統合）: 単一モーダルバックボーンが数層にわたって入力を処理したのち、共有層や横方向の接続を介して中間段階で統合を行います。単一モダリティの専門化とマルチモーダルの相互作用のバランスを取ることができます。 4. Cross-Attention Fusion（交差注意統合）: 一方のモダリティがクエリ（Query）を提供し、他方がキー（Key）とバリュー（Value）を提供するマルチヘッドアテンションを使用します。トークン単位の条件付けにより高い表現能力を持ち、異なる長さのシーケンスにも柔軟に対応できます。 5. Gated Fusion（ゲート付き統合）: 学習可能なゲーティング機構（例: シグモイド関数やtanhゲート）を用いて、文脈的な信頼性に基づいて各モダリティや統合層の寄与度を動的に重み付けします。これにより、特定のモダリティが支配的になったり、事前学習済みの重みを損なったりするのを防ぎます。 6. Concatenation（連結）: 特徴量ベクトルやトークンシーケンスを、特徴量の次元に沿って結合（特徴量連結）するか、シーケンス長方向に結合（統一トランスフォーマー前のトークン連結）します。シンプルかつ非パラメトリックですが、特徴量連結には空間的または時間的な次元の一致が必要であり、トークン連結では自己注意機構（Self-Attention）における計算量がシーケンス全体の長さに対して2乗でスケールするという課題があります。

import torch
import torch.nn as nn
import torch.nn.functional as F

# 1. Concatenation along feature dimension
z_concat = torch.cat([img_feat, txt_feat], dim=-1) # [B, D_img + D_txt]

# 2. Gated Fusion
gate = torch.sigmoid(gate_layer(z_concat)) # [B, D]
z_gated = gate * img_proj + (1 - gate) * txt_proj

# 3. Late Fusion (Score level)
similarity = torch.sum(F.normalize(img_feat, dim=-1) * F.normalize(txt_feat, dim=-1), dim=-1)

AI コーチを使ってこの質問に答えてみる

12画像とテキストのマッチングにおいて、デュアルエンコーダ検索モデルとクロスエンコーダリランカーを、相互作用能力、精度、およびレイテンシの観点から比較してください。

デュアルエンコーダ（バイエンコーダ）モデルとクロスエンコーダリランカーは、画像とテキストのマッチングにおける2つの異なるパラダイムであり、相互作用能力、精度、レイテンシの間で根本的なトレードオフが存在します。 1. 相互作用能力（Interaction Capacity）: - デュアルエンコーダ（例: CLIP）: 画像とテキストを独立した個別のバックボーンで処理します。マルチモーダルな相互作用は厳密に後期かつ浅いものにとどまり、グローバルにプーリングされたベクトル間の単一の内積またはコサイン類似度に限定されます。トークンレベルのクロスモーダルな相互作用はありません。 - クロスエンコーダ（例: UNITER、ViLT、ALBEFのマルチモーダルブランチ）: 視覚トークンとテキストトークンを共有Transformerに結合するか、クロスアテンション層を使用します。すべての視覚トークンが複数層にわたってすべてのテキストトークンと相互作用できるため、深いクロスモーダルな推論が可能です。 2. 精度: - デュアルエンコーダは、単一ベクトル表現というボトルネックがあるため、複雑な合成クエリ、空間関係、否定表現、およびきめ細かな属性マッチングにおいて精度が低くなります。 - クロスエンコーダは、複雑で細粒度かつ構成的な画像・テキストマッチングタスクにおいて大幅に高い精度を達成します。 3. レイテンシとスケーラビリティ: - デュアルエンコーダは、事前に画像の埋め込みを計算し、ベクターデータベース（例: Milvus、FAISS）にオフラインでインデックスを作成できます。推論時にはテキストクエリのみをエンコードすればよく、数百万件の候補に対する検索も軽量な近似最近傍探索（ANN: Approximate Nearest Neighbor）の内積計算だけで済むため、ミリ秒未満の低レイテンシを実現します。 - クロスエンコーダは、クエリ実行時に（画像、テキスト）の候補ペアごとに結合ニューラルネットワーク全体を実行する必要があり（$N$ 個の候補に対して $O(N)$ 回の順伝播）、レイテンシが桁違いに高くなるため、大規模コーパスに対する第1段階の検索（ファーストステージ検索）に用いるには計算コスト上非現実的です。 実際のプロダクションシステムでは、デュアルエンコーダが低レイテンシで上位 $K$ 件の候補（例: $K=100$）を取得し、続いてクロスエンコーダがそれらを高精度にリランクする2段階パイプラインが標準的です。

# Stage 1: Dual-Encoder First-Stage Retrieval (Fast, Vector Index)
query_emb = text_encoder(query_text) # [1, D]
# Cosine similarity over pre-indexed image embeddings [N, D]
scores = query_emb @ precomputed_image_embeddings.T # [1, N]
top_k_indices = torch.topk(scores, k=100).indices[0]

# Stage 2: Cross-Encoder Reranker (Accurate, Token Interaction)
candidate_images = [load_image(idx) for idx in top_k_indices]
rerank_scores = cross_encoder(candidate_images, [query_text] * 100) # Full cross-attention
final_ranking = top_k_indices[torch.argsort(rerank_scores, descending=True)]

AI コーチを使ってこの質問に答えてみる

13テキスト、表、グラフ、スクリーンショット、図、および埋め込み画像を含むPDFやマニュアルを対象とした、マルチモーダルRAG（Retrieval-Augmented Generation）システムを設計してください。

複雑な視覚ドキュメント（PDF、マニュアル、レポートなど）を対象とするエンドツーエンドのマルチモーダルRAGシステムは、主に以下の4つのアーキテクチャステージで構成されます。 1. 取り込みとレイアウト認識パース: レイアウト認識ドキュメントモデル（LayoutLM、DocTRなど）またはビジョンパースパイプラインを用いてPDFページを処理し、構造化ブロック（テキストパッセージ、セル結合情報を保持したHTML/Markdown形式の構造化テーブル、データ系列を含むレンダリング済みグラフ画像、空間バウンディングボックス付きの独立した図やスクリーンショット）に分割します。 2. マルチモーダルインデックス作成とデュアル表現: - 視覚アセット（グラフ、スクリーンショット、図）: 高密度マルチモーダル埋め込み（SigLIP、CLIP、またはColPaliのビジュアルパッチトークンなど）を付与したクロップ画像として保存するとともに、VLM（Vision-Language Model）によって生成された合成テキスト要約やOCRテキストを高密度テキストインデックスに格納します。 - テーブル: 構造化Markdown/HTMLとしてテキストベクトルインデックスおよびBM25インデックスに格納します。 - テキスト: 意味的なセクション単位でチャンク化し、高密度埋め込みおよびスパースキーワードインデックスで管理します。 3. ハイブリッド検索とマルチモーダルリランキング: - 第1段階検索: スパースBM25（キーワード、OCRテキスト、テーブルマークアップ）、高密度テキストベクトル、視覚埋め込みインデックス（ANN検索）に対して並列検索を実行します。 - 統合とリランキング: 候補を統合（Reciprocal Rank Fusionなど）し、マルチモーダルクロスエンコーダまたはビジュアル遅延相互作用（late-interaction）モデルを用いて、クエリテキストを高解像度クロップ画像およびパース済みテキストと照合して上位項目をスコアリングします。 4. マルチモーダルコンテキストの組み立てとグラウンディング生成: 上位$k$件のマルチモーダルコンテキスト（レンダリングされた画像パッチ、テーブルスキーマ、ドキュメント/ページメタデータ付きテキストパッセージ）を、指示調整済みVLM（GPT-4o、Claude 3.5 Sonnet、オープンソースのQwen2-VLなど）に入力します。生成プロンプトでは、明示的な出典引用（ページ番号、図番号、バウンディングボックスなど）を義務付けることで、グラウンディング（根拠付け）を担保します。

from dataclasses import dataclass
from typing import Optional, List

@dataclass
class MultimodalChunk:
    chunk_id: str
    document_id: str
    page_number: int
    modality_type: str  # 'text', 'table', 'chart', 'diagram'
    text_payload: str   # Raw text or structured Markdown/HTML
    vlm_caption: Optional[str] = None  # Synthetic summary of visual content
    bbox: Optional[List[float]] = None  # [x0, y0, x1, y1]
    image_crop_path: Optional[str] = None
    dense_embedding: Optional[List[float]] = None

# Indexing strategy: Text search covers text_payload + vlm_caption;
# Multimodal search matches dense_embedding or visual tokens.

AI コーチを使ってこの質問に答えてみる

14マルチモーダルRAG（Retrieval-Augmented Generation: 検索拡張生成）の評価において、検索品質、エビデンスの活用度、出典根拠（プロベナンス）、最終回答の忠実性をどのように個別に測定すべきか説明してください。

マルチモーダルRAGの評価では、エラーの発生源が検索、コンテキストの利用、出典引用の正確性、生成のいずれにあるかを特定するために、システムを4つの分離された評価軸に分解する必要があります。 1. 検索品質（Retrieval Quality）: レトリーバーが必要な画像およびテキストのチャンクを特定できているかを評価します。主要な指標には、マルチモーダルのRecall@K、NDCG@K、MRRが含まれます。視覚要素については、Visual IoU / バウンディングボックス再現率（切り出された検索画像に関連する図表面が含まれているか）や、モダリティ再現率バランス（表やプロット図などの非テキストモダリティが体系的に見落とされていないかの検証）も含まれます。 2. エビデンスの活用度（十分性と必要性）: 生成モデルがパラメータ上の記憶のみから回答を生成するのではなく、検索されたマルチモーダルエビデンスに真に依存しているかを測定します。これは、コンテキスト関連性（質問を裏付ける検索された画像/テキストトークンの適合率）、エビデンスの必要性 / アブレーションテスト（検索された図表をマスクまたは除外して回答が失敗するかを検証）、およびクロスアテンションの寄与度（アトリビューション）分析によって測定されます。 3. 出典根拠（プロベナンス）と引用の正確性: 情報源の帰属表記が正確かつ検証可能かを測定します。引用（ドキュメント名、ページ番号、図番号、バウンディングボックス座標など）に対する適合率（Precision）、再現率（Recall）、F1スコアで評価します。自動チェックにより、引用されたバウンディングボックスやページに、質問の回答に真に必要な正解エビデンスが実際に含まれているかを検証します。 4. 最終回答の忠実性と正確性: - 忠実性（Faithfulness）/ グラウンディング: 生成されたすべての主張が、ハルシネーションを起こすことなく検索されたマルチモーダルコンテキストによって含意されているかを評価します（通常、テキストや切り出し画像に対する主張の含意をVLM-as-a-judgeで判定）。 - 事実の正確性（Factual Correctness）: 生成された回答が正解データ（Ground Truth）と一致しているかを評価。 - 拒絶の堅牢性（Refusal Robustness）: 検索されたコンテキストが無関係または矛盾している場合に、モデルが正しく回答を拒絶できるかをテスト。

# Evaluation record schema for a single Multimodal RAG query:
eval_record = {
    'retrieval_quality': {
        'hit_at_k': True,          # Top-3 chunks contain target diagram
        'visual_bbox_iou': 0.85    # Retrieved crop overlap with true figure region
    },
    'evidence_utilization': {
        'necessity_ablation_passed': True  # Removing chart causes answer to fail
    },
    'provenance': {
        'page_match': True,        # Cited Page 12 (Ground Truth Page 12)
        'figure_id_match': True    # Cited 'Figure 4'
    },
    'faithfulness': {
        'claim_entailment_score': 1.0,  # All claims entailed by context
        'hallucination_detected': False
    }
}
all_passed = all(all(metrics.values()) for metrics in eval_record.values())
print(f'System passes all decoupled checks: {all_passed}')

AI コーチを使ってこの質問に答えてみる

15ギャラリーの埋め込みベクトル（embeddings）とインデックスを大規模に更新する必要がある場合、本番マルチモーダル検索モデルの更新をどのように進めるべきか考察してください。

マルチモーダル検索システムを大規模に更新する際には、表現のドリフト（representation drift）という問題が生じます。新しく生成された埋め込みベクトルは異なる幾何学的潜在空間に位置するため、既存のギャラリー埋め込みと直接比較すると再現率（recall）の大幅な低下を招きます。したがって、ダウンタイムなしでの更新には、二重インデックスによるブルー/グリーンデプロイ、互換性学習（後方互換性を持つ学習や変換アダプターなど）、または段階的な再インデックスパイプラインのいずれかが必要になります。標準的なブルー/グリーンの再インデックスワークフローでは、オフラインバッチジョブがギャラリー全体の新しい埋め込みを計算し、新しいベクトルインデックス（HNSWやIVFなど）を構築します。再構築が実行されている間も、本番の検索トラフィックは稼働中の旧インデックスに対してクエリを送信し続けます。新しく追加されるアイテムは、デュアルライト（二重書き込み）またはCDC（Change Data Capture）のストリーミングログを介して処理され、両方のインデックスが最新状態に保たれます。新しいインデックスがシャドウトラフィックによって検証され、メモリ上にウォームアップされた後、トラフィックは新しいエンコーダとインデックスへアトミックに切り替えられ、その後に旧インデックスが廃止されます。別のアプローチとして、後方互換性学習を用いて新しいクエリエンコーダを旧ギャラリー空間に揃えるよう制約することで、ギャラリーを非同期に時間をかけてバックフィルしつつ、クエリモデルを即座にアップグレードすることも可能です。

class MultimodalRetrievalRouter:
    def __init__(self, v1_service, v2_service, dual_write=True):
        self.v1 = v1_service  # Model v1 + Index v1
        self.v2 = v2_service  # Model v2 + Index v2
        self.active_version = "v1"
        self.dual_write = dual_write

    def search(self, query_multimodal):
        # Route query strictly to the encoder matching the active index
        if self.active_version == "v1":
            return self.v1.search(query_multimodal)
        return self.v2.search(query_multimodal)

    def ingest_new_item(self, item):
        # Dual-write during migration window so the new index is up-to-date at cutover
        self.v1.index_item(item)
        if self.dual_write and self.v2.is_ready_for_ingest:
            self.v2.index_item(item)

AI コーチを使ってこの質問に答えてみる