NLP（自然言語処理）技術は近年大きく進歩しています。膨大な学習データを使った巨大な事前学習済みモデルが身近に利用できるようになり、利便性が高まりつつあります。本記事では、近年のNLPの動向を俯瞰するとともに、OpenAI社GPT-3から派生したCodexを使ったコード生成実験を行います。