Dataset of paper "Verification of Chain-of-Thought Prompting in Japanese". Our paper will be presented at JSAI 2023, Kumamoto.
論文「日本語におけるChain-of-Thoughtプロンプトの検証」のデータセットです。2023年度人工知能学会全国大会で発表されました。
JCommonsenseQAの検証セット1,119問と解答の常識推論のデータセット
CoTプロンプトのshotに用いる8問の問題と解答
人名1,000人分を用いて作成された記号推論のデータセット
CoTプロンプトのshotに用いる8問の問題と解答
250問ずつ4種類のテンプレートで合計1,000問の問題と解答
既存のMAWPSを日本語に翻訳し、人名や単位、地名を変換して作成された算数のデータセット
MAWPS内のAddSub、SingleOp、MultiArith、SingleEqの4種類から250問ずつ選定
CoTプロンプトのshotに用いる8問の問題と解答