Table-GPT: Table-tuned GPT for Diverse Table Tasks
概要
Abst
GPT-3.5やChatGPTのような言語モデルは、人間の多様な指示に従い、幅広いタスクを実行する驚くべき能力を示しています。しかし、テーブルを理解する基本的なタスクを使って言語モデルを調査すると、現在の言語モデルはテーブル関連の多くのタスクにおいてまだ最適ではないことがわかります。本研究では、テーブルを理解し、テーブルタスクを実行する言語モデルの能力を向上させることを目的として、GPT-3.5やChatGPTのような言語モデルを、実際のテーブルから合成された多様なテーブルタスクを学習データとして用いて学習/微調整し続ける、新しい「テーブルチューニング」パラダイムを提案する。その結果、GPT-3.5やChatGPTのような言語モデルのテーブル理解・テーブルタスク実行能力を向上させることを目的として、実テーブルから合成した多様なテーブルタスクを学習データとして用いて、GPT-3.5やChatGPTのような言語モデルのテーブル理解・テーブルタスク実行能力を向上させるための学習・微調整を行いました。
En.
Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on \emph{one-dimensional} natural-language texts, whereas relational tables are \emph{two-dimensional} objects.
In this work, we propose a new "\emph{table-tuning}" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better \emph{table-understanding} capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong \emph{generalizability}, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.
- 要は、テーブルタスクを解けるようにたくさんデータセットを用意して、instructing-tuningを行ってテーブルタスクに特化したTable-GPTを作成したという話。
- ChatGPTなどのinstructing-tuningは(instruction, completion)のペアを使うが、TableGPTは(instruction, table, completion)のトリプレット
- 大量にデータを準備するのが大変なのでデータオーギュメンテーションも頑張った。
- 既存のLLMがテーブルタスクを苦手とする理由に対する考察
- 行と列の両方を持つ二次元情報であり、通常の一方向にしか流れない文章とは性質が異なる。
- 上から下への読むことも多く、通常の文章の左から右に読むというのと異なる。
- 列や行単位で入れ替えても情報が変わらない。通常の文章は文の意味が変わってしまう。
- テーブルタスクまとめ面白い。
