On-the-flyの意味 [技術スラング]
On-the-Fly Attention Modulation for Neural Generation
https://aclanthology.org/2021.findings-acl.107.pdf
というタイトルの論文に遭遇。
アブストをDeepLで翻訳すると以下のようになった。
「深層神経言語モデル(LM)はかなり進歩したが、神経テキスト生成は依然として退化に悩まされている。生成されたテキストは反復的、一般的、自己矛盾的で、しばしば常識に欠けるものである。私たちは、LMの文レベルの注意パターンに関する分析から、神経の退化は、注意メカニズムによるタスク固有の特性の不十分な学習と関連している可能性があることを明らかにしました。この発見は、推論中に注意の計算に優先順位を注入することを可能にするシンプルで効果的な方法であるオンザフライ注意変調1 の動機付けとなる。3つのテキスト生成ベンチマークに対する自動評価と人間による評価の結果、注意の変調は、LMが流暢性、創造性、常識的推論を強化したテキストを生成するのに役立ち、さらに、文レベルの繰り返しを大幅に削減できることが実証された。」
このアブストとタイトルから察するに、On-the-Flyというフレーズは、推論の実行中に注意計算の優先順位を操作できることを表現するために使われており、 ここでのOn-the-Flyは、「ある処理（推論）を行いながら、その処理に影響が及ぶような変更を加える」ことを意味しているのではないかと思われる。
On-the-Flyは情報系の論文でよく見る表現であり、説明するのが難しいフレーズである。調べても様々な意味がでてくるため、意味を考えるより感じろということになるのか。また、adaptiveとOn-the-Flyの違いは何なのか？また今度調べてみよう。
以上。