これは良いニュース。iTmediaの記事より。
国会図書館所蔵の1995年迄の文献をLLMの学習データにNIIへ提供するらしい。
国立国会図書館は10月1日、国立情報学研究所(NII)に対して、官庁出版物のテキストデータを提供することで合意したと発表した。1995年までに刊行された図書が中心で、この他雑誌や官報など約30万点を、NIIが構築を進める大規模言語モデル(LLM)の学習用データとして活用する。
9月5日付で合意を結んだ。出版物のデジタル化画像からOCR(光学文字認識)技術で作成した全文検索用データを提供し、NII内の大規模言語モデル研究開発センターで利用できるようにする。
大規模言語モデル研究開発センターは、NIIが2024年4月に開設。研究開発用LLMの構築に加え、透明性・信頼性の確保や高度化に向けた研究開発を進めている。
引用おわり。
OCRだと結構な確率で誤字が含まれるがそれは瑕疵対象とはされない様にしないと後々面倒なことになりそう。
それと公文書に特許関連が含まれるのであれば分野によっては有益な(まあ、予想される事柄ではありますが)LLMになる可能性も(あたりまえ)。
国会図書館は国内で開示された全ての文献、公文書が含まれる筈だからOCRの読み取り精度はさておき(元々光学読み取りで100%はありえないので、常識として)学習方法にもよるのだろうが、偏りの少ない教師データになる事を期待。
翻って、民間(NHK含む)の特に新聞界隈の版で付いたような対応は・・・一部欧米メディアの猿真似ですかね・・・文系脳に論理性は期待薄、特にメディアって活動家崩れの社会適性欠如者の巣窟らしいので(以下略)。
#いまだに自分たちが第4の権力とか詐称する特権階級と勘違いしてやがる・・・これもエコー・チェンバーの一種なのだろうか・・・気持ち良くなる点は類似かもしれないが如何せんチェンバーのサイズが ち・い・さ・す・ぎ・る ので我ら愚民かららはバイキンの如く見えない(気にならない)かもしれませんね(無論、皮肉ですよ)。
まあ、Googleはそんなのお構いなしで力技で取得(してる)のでしょうけど(文化の違いで済まされぬ様な:)。

