次世代人工知能への応用化に期待
千葉工業大学?基礎生物学研究所?兵庫県立大学などの研究チーム、深層エコーステートネットワークにおける多層化が生み出す多様な時間スケールのダイナミクスが性能向上の鍵
井上秀一（千葉工業大学?修了済み／LINEヤフー株式会社）、信川創（千葉工業大学?教授／同大学 数理工学研究センター?非常勤主席研究員／国立研究開発法人国立精神?神経医療研究センター?客員研究員）、西村治彦（大和大学?教授／兵庫県立大学大学院応用情報科学研究科?名誉教授）、渡辺英治（基礎生物学研究所?准教授）、礒川悌次郎（兵庫県立大学?准教授）らの研究チームは、次世代型人工知能であるエコーステートネットワーク（Echo State Network: ESN）の性能を大幅に向上させるアーキテクチャとして注目されている「深層エコーステートネットワーク（Deep Echo State Network: DeepESN）」の性能向上の鍵として、階層ごとの多様な時間スケールのダイナミクスの生成が重要な役割を担っていることを明らかにしました。これまで、DeepESNのパラメータ最適化にはベイズ最適化などが用いられてきましたが、どのようなDeepESNのダイナミクスが性能向上に寄与しているのかについての十分な調査は行われていませんでした。研究チームは、DeepESNの各層で生成される挙動の時間スケールについて、関連するパラメータ群を調整することにより、性能との関連を評価しました。その結果、時間履歴に関わるパラメータ群の中で、DeepESNの構成要素であるニューロンの時間履歴項がタスクに対応した最適値を持ち、その設定下において階層間で異なる時間スケールのダイナミクスが発生し、その挙動が階層間で遅延伝搬することにより、長期間DeepESN内に保持されることが明らかとなりました。ESNでは、個々のニューロンが入力タスクに対する過去の入力履歴を基に多様な応答を重ね合わせて所望の信号を生成します。したがって、DeepESNの高い性能は、このような広範な時間スケールの領域に亘る応答によって達成されていると言えます。この研究成果は、DeepESNのパラメータ調整に一定の指針を提供し、学習に大きなリソースを割くことのできないエッジAIのような環境下での学習に大きく貢献すると期待されます。この研究成果は、2024年７月16日に、スイスに本部を置く科学?工学?医学についての出版社であるFrontiers Media SAの査読付き学術雑誌であるFrontiers in Artificial Intelligenceにて発表されます。
研究詳細
論文情報
- タイトル
Multi-scale Dynamics by Adjusting Leaking Rate to Enhance Performance of Deep Echo State Networks - 著者名
Shuichi Inoue, Sou Nobukawa, Haruhiko Nishimura, Eiji Watanabe,
Teijiro Isokawa - 雑誌?号?doi
Frontiers in Artificial Intelligence (公開日: 2024年７月16日)
DOI: 10.3389/frai.2024.1397915
URL: https://www.frontiersin.org/articles/10.3389/frai.2024.1397915/
(オープンアクセスのためこのサイトから閲覧できます)
問い合わせ先
千葉工業大学 情報変革科学部 情報工学科信川 創（ノブカワ ソウ）
WEBページ: https://sites.google.com/view/nobukawalab/
TEL：047-478-0538
E-Mail: nobukawa@cs.it-chiba.ac.jp
同時資料提供先
PRTIMES、岡崎市政記者会