書籍『コンテキストエンジニアリング』の読書メモ

LLMが持つLost in the Middleの性質を踏まえると、JSON出力時は順序を意識したりプロパティ名に情報量を増やすと出力の精度が高まる、というテクニックが紹介されていてすごく腑に落ちた。structured outputにおけるプロパティ名や順序が重要であるというのは、LLMの性質とセットで覚えておきたい。

{
    # keywords だけではなく2,3個であることをプロパティ名に含め精度を高める
    "keywords_2_or_3": [],
    # title を出力したあとに title_en を出力させることで精度を高める
    "title": "",
    "title_en": "",
}

あとは、最近は各ベンダーでコンテキストキャッシュに対応しているため、変に入力トークンを節約しようとするよりも、コンテキストキャッシュを効果的に利用するために前方一致するコンテキスト設計で工夫したりしたほうがいい場合もあるというのは面白かった。