自然言語処理を活用した化学的情報の予測

プロジェクト概要

　ケモインフォマティクスは「情報科学の技術で化学の課題を解決する」学術分野である。本プロジェクトでは、情報科学の技術として自然言語処理(Natural Language Processing; NLP)を活用し、化学の課題として分子設計や物性予測を位置付けた研究を行っている。

　具体的には、日々世界中で発表されている膨大な量の論文やデータベースから、そこに含まれる化学的情報を効率的に引き出すことで、分子設計や物性予測のさらなる高度化を目指す。

研究内容

専門用語の意味に関しては、後述の「補足」をご参照ください。

背景

知識空間と化学空間の探索

　存在しうる低分子有機化合物の総数は$\,10^{60}\,$程度と推測されている。ここでは、それらによって構成されるすべての化合物の集合体を化学空間として定義する。また、データベースなどに日々蓄積され続ける膨大な科学的情報の集合体を知識空間として定義する。

　化学空間は非常に広大であり、その中には「データベースのページはあるものの、何の情報も載っておらず、あまり知られていない」ような化合物も多く存在する。これに対して、毎年数十万報もの新規論文が発表されていることからもわかるように、知識空間は日々拡大し続けている。したがって、研究者が独力で知識空間と化学空間のすべての情報にアクセスすることはもはや不可能といえる。他方で、従来の材料設計や分子設計では、熟練した研究者の「知見」に依存しがちであるという「属人性」が課題とされている。

　そこで、人工知能を活用して、知識空間の情報を効率的に処理し、そこから得られた手がかりをもとに化学空間を探索することができれば、研究者個人の「知見」を超越した革新的な分子設計が実現する。

　広大な化学空間から所望の活性を持つ化合物を探し出すことを「宝探し」に例えるならば、本研究は、宝のありかを高精度に指し示す「より正確な宝の地図」を描き出そうとする試みである。

外挿性と解釈性

　従来の化合物活性予測モデルには、学習データに含まれない未知の分子に対する予測性能が低下する外挿性の問題や、AIがなぜその予測に至ったのかという根拠が不透明になる解釈性の問題が内在していた。これに対して、過去の研究から、論文内のテキスト情報には化合物の構造や活性に関する重要なヒントが隠されていることが明らかになっている。このテキスト情報を予測の根拠として直接組み込むことで、未知の分子に対しても柔軟に対応でき、かつ人間にとって納得感のある、根拠が明確な予測モデルの構築が可能になると期待される。

既存研究との独立性

　従来の機械学習モデルは、融点や沸点など数値化しやすい定量的データを扱うことは得意だが、研究者による論文中の考察のような曖昧だが重要な知見を取り込むことは困難で、既存の研究知見がモデルに直接反映されにくいという課題があった。そこで、自然言語処理技術を適切に活用することで、文脈を含む曖昧で重要な情報をそのまま処理できる。これにより、過去の論文などに蓄積された知識を効果的に学習させることが可能となり、既存の研究知見が最大限生かされた「質の良い」モデルを構築できると期待される。

これまでの研究

文書情報に基づく化学知識の抽出と定量化

　化合物の抗酸化能に関する論文・計1,744報を、言語モデルWord2Vecにより解析した結果、化合物名に対応する埋め込み表現が、その化合物の化学的性質と強い相関を持つことを確認した。論文の文脈に基づいて「類似している」と判断された化合物同士について、実際の化学構造も類似していることを定量的に示した。

構造情報と文書情報の統合による高精度な予測: Fp Doc2Vecモデル

　分子の構造情報と論文情報を統合したモデルFp Doc2Vecを開発し、従来の構造情報のみを用いた予測に比べて、その化合物の10種類の生物学的役割(データベースに基づいて付与された役割)の有無の予測精度の大幅な向上を実現した。また、学習に使用されていない新規化合物に対しても高い予測性能を示した。また、SHAPという手法を用いて、予測に対してどの部分構造が強く影響したと考えられるかを可視化し、化学的な妥当性を確認した。

新規な言語モデルの活用

　最近では、複雑な文章の文脈や専門的な化学用語をより深く捉えるため、大規模言語モデル(Large Language Model; LLM)を積極的に活用している。特にBERTを活用することで、各化合物の生物学的役割の有無を高い精度で予測できることを確認した。

補足

自然言語処理とは、人間が普段扱う日本語や英語などの自然言語を、コンピュータによって適切に扱うことのできるようにするための技術の総称である。
埋め込み表現(埋め込み)とは、入力された情報をコンピュータが効率的に処理できるように、低次元の実数値ベクトルに変換したものである。
潜在空間とは、その埋め込み表現が配置される概念的なベクトル空間を指す。意味的・構造的に近くて、似ているとされるデータ同士が、この潜在空間内で近くに集まって、クラスターが形成されることもある。例えば「類似している」と判断される化合物2つについて、それらから得られる埋め込み表現2つは、潜在空間内で近くに存在する。
分子フィンガープリントとは、分子における特定の部分構造の有無を、0または1のビット列(ベクトル)として表現したものである。
マルチモーダル学習とは、テキスト情報と化合物構造情報、テキストと画像のような、形式の異なるデータを統合して取り扱おうとする機械学習手法である。

今後の展望

　様々な展望が考えられるが、ここでは以下の3点を挙げる。

分子生成モデルを組み合わせて、言語指示に基づいたより高度な分子生成を実現する。これによって、実際に時間のかかる合成実験を行う前にAIで有望な候補を絞り込むことが可能となり、研究開発のスピードを向上させることができると期待される。
所望の活性に寄与する可能性のある部分構造が判明すれば、それをもとに効率的な分子設計や分子生成モデルの設計が可能になると期待される。また、その「活性に寄与するかもしれない部分構造」の判明は、新奇な化学的理論の発見につながるかもしれない…？
言語情報を処理するという観点では、常に最新の論文を取り入れてモデルを更新することが可能である。

研究室配属等にあたって

　よくありそうな質問に対して、このプロジェクトの研究をしている学生目線で回答します。

どういうときに「研究の面白さ」を感じますか？
- 構築したモデルが動いたとき、作り上げたモデルの性能(精度)をもっと上げようとして試行錯誤しているとき、あと実際に精度が上がったときです。
- PCに向き合って機械学習モデルを構築し、それを動かして精度評価を行うことは、実験室で白衣で行わないとしても、立派な「実験」です。実験がうまくいけばもちろん嬉しいですが、実験はうまくいかないことのほうが多くて、そのような場合は、自分で調べて結果を分析するだけでなく、先輩・後輩や先生と議論したりしながら問題解決のために頑張ります。この探究プロセスこそがまさに「研究」だと思います！
このテーマはどんな人に向いていますか？
- 化学っぽくないので、自分らしさを出せる個性的な研究がしたい方にはとても向いています。他大学院では情報系の専攻で研究されることもあるテーマに取り組んでいる先輩が多いです。
- 研究でやることからすれば、プログラミングやAIに興味のある方、ケモインフォマティクスという分野に将来性を感じる方にも向いています。
- 実は、量子化学や理論化学が面白いと思う方にも向いていると思います！研究の中で、機械学習や深層学習の理論的な背景に迫る機会があるとすれば、皆さんが学部の熱力学で勉強した「ボルツマン分布」や「分配関数」などの概念がそこに潜んでいることを実感すると思います。回答者は、こういう根底の理論的な繋がりが面白いなぁと思うタイプです(笑)
自然言語処理をやったことがありませんが、私にもできますか？
- 勉強すればできるようになります。情報系の学生と違うのは、科目を履修して単位を取ったかどうかだけです。
- 自然言語処理はあくまで機械学習の応用事例であり、最近では深層学習が当たり前のようにベースとなる場合が多いため、それらも必要に応じて勉強しなければ、理解できないこともあります。
- 化学EPにおいて、大学2年生以上に開講される選択科目「データサイエンス実践基礎」と「AI実践基礎」の履修は推奨します。これは機械学習やデータサイエンスに触れてもらうという意味です。
- 研究室内に書籍等がありますし、研究室配属後に先輩からプログラミングやケモインフォマティクス等を学ぶ研修の機会が用意されていますが、最近では外部で学生向けの講座もあります。回答者は、大学3年生から東京大学松尾・岩澤研究室の講座を数多く修了しています。そのような機会もあるので、興味があれば研究室に入る前にそういう場で自分なりに勉強してみて良いと思います。そのような勉強経験は、絶対に無駄になりません。
- この質問に関連して、数学が得意でなければならないということはありません。自然言語処理や深層学習の書籍を読むと、数式だらけで圧倒されたり辟易する人もいるかもしれませんが、その数式のすべてを最初から完璧に理解する必要は全くありません。ただし化学の全般的にいえることとして、成果を論文化したり、論文を読んだり、実験等がうまくいかない理由を考察するうえで、数学的な知識があると間違いなく強いです。
このテーマをやった先輩の就職先はどうなりますか？
- この研究プロジェクトは最近開始したため、あまりサンプル数がないですが、IT企業に早期内定した現M2の人がいます！
- 研究室全体としては、メーカーに就職する人も勿論いますが、それだけではなくIT系の企業に就職する人などもおり様々です。