====== 260204 生体模倣AI：神経変調がいかにディープニューラルネットワークを変革するか ======

{{ .:pasted:20260205-102039.png?300}}

  * 出典 [[https://qubic.org/blog-detail/how-neuromodulation-transforms-neural-networks|Bio-Inspired AI: How Neuromodulation Transforms Deep Neural Networks | Qubic Blog]]

 **執筆：Qubicチーム** / **公開日：2026年2月4日**

 **参考**： [[https://drive.google.com/file/d/14KwY0v0jha_IA2qIYAI-zceFHE_vscvQ/view?usp=drive_link|Google NotebookLM によるスライドPDF]]

===== 多階層的な神経変調システムの原理によるディープニューラルネットワークへの示唆の分析 =====

{{.:pasted:20260205-094827.png?800}}

　脳において、**[[https://pmc-ncbi-nlm-nih-gov.translate.goog/articles/PMC3032992/?_x_tr_sl=ja&_x_tr_tl=en&_x_tr_hl=ja&_x_tr_pto=wapp|神経変調]]（[[https://pmc.ncbi.nlm.nih.gov/articles/PMC3032992/|Neuromodulation]]）**とは、特定の神経伝達物質がニューロンやシナプスの機能的特性を修正し、それらがどのように反応し、どのくらいの期間情報を統合し、どのような条件下で経験によって変化するかを制御するメカニズムの総称です。

　これらの効果は主に、[[https://en-wikipedia-org.translate.goog/wiki/Dopamine?_x_tr_sl=en&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=wapp|ドーパミン]]、セロトニン、ノルアドレナリン、アセチルコリンなどの神経伝達物質が、**代謝型受容体（Metabotropic receptors）**として知られる受容体に作用することによって生じます。高速な受容体とは異なり、これらは直接電気信号を生成するのではなく、細胞内のシグナル伝達経路を活性化し、ニューロンや回路の「動的な状態（レジーム）」を修正します。

　[[https://www.cell.com/trends/neurosciences/abstract/S0166-2236(21)00256-3|Trends in Neurosciences 誌に掲載された Mei、Muller、Ramaswamy による論文]]は、[[https://www.ibm.com/think/topics/attention-mechanism|ディープニューラルネットワーク]]のよく知られた限界から論じ始めています。これらのネットワークは安定した環境では優れた学習能力を発揮しますが、タスクが変化したときのアダプテーション（適応）が極めて不得手です。

　これに対し著者らは、「神経変調を備えた生体模倣モデルは、人工ネットワークをより適応的にできるか？」と問いかけています。中心となるアイデアは、環境に関する情報を表すのではなく、**「ネットワークがどのように学習するか」を調節する信号**を導入することです。これは、生物学的システムにおけるドーパミンやセロトニンなどの働きを模倣するものです。

{{.:pasted:20260205-095543.png?800}}

===== 動的な学習率：適応型ニューラルネットワークへの生体模倣アプローチ =====

　ディープニューラルネットワークにおいて学習が起こるためには、**「学習率（Learning rate）」**を考慮する必要があります。これは、エラーが発生した際にネットワークの重み（Weight）をどれだけ修正するかを決定するパラメータです。高い値は素早い学習を可能にしますがシステムを不安定にし、低い値は学習を遅くしますがより保守的なものにします。

　例を挙げて見てみましょう。画像に猫が含まれているかどうかを判断する単一の重みを持つ、非常に単純な人工ニューラルネットワークを想像してください。その重みの初期値が  0.5  だとします。ネットワークが予測を行い、それを間違えた場合、アルゴリズムはエラーを減らすために重みを減らすべきだと計算します。

　重要な問題は「どれだけ変化させるべきか」であり、それが学習率によって決まります。もし学習率が高い（例えば 0.5）場合、調整は大きくなります。重みは一歩で  0.5  から  0.0  に変化するかもしれません。ネットワークは素早く学習しますが、その後の例が逆方向の調整を求めた場合、これらの急激な変化によって重みが振動し、学習が不安定になります。

　もし学習率が低い（例えば  0.01 ）場合、同じエラーでも小さな変化しか生まず、重みは  0.5  から  0.49  になります。ネットワークの学習は遅くなりますが、漸進的で安定したものになります。従来のディープニューラルネットワークでは、この値はトレーニング開始前に固定され、プロセス全体を通じて一定であるため、ネットワークは常に同じ速度で学習します。

　このような硬直した学習に対し、この記事は、[[https://www.pnas.org/doi/10.1073/pnas.1014269108|脳の神経変調]]になぞらえて、このパラメータを文脈に応じて動的に変化させ、新規性（Novelty）に反応して上げたり、安定性が必要なときに下げたりできるのではないかと提案しています。

===== ドロップアウト正則化：神経の多様性の簡略化モデル =====

　彼らが扱うもう一つの関連概念は**「[[https://jmlr.org/papers/v15/srivastava14a.html|ドロップアウト（Dropout）]]」**です。タスクを解決するために常に同じニューロンのセットを使用するニューラルネットワークを想像してください。時間が経つにつれ、ネットワークはその特定の経路において非常に効率的になりますが、同時に非常に脆弱になります。なぜなら、その経路が機能しなくなった途端、パフォーマンスが急激に低下するからです。

　ドロップアウトはこの問題に単純な解決策を導入します。トレーニング中、一部のニューロンをランダムにオフにすることで、ネットワークに結果に到達するための代替ルートを探させます。こうして、ネットワークは情報を分散させることを学び、より堅牢になります。

　この記事はこのメカニズムを、神経変調の非常に簡略化された同等物として解釈しています。なぜなら、処理される内容は変えずに、各瞬間にネットワークのどの部分が参加するかを変えることで、必要に応じて探索的または安定的な状態を促進するからです（ただし、これは固定された方法であり、真の文脈的ダイナミクスはありません）。脳はまさにこのように動作します。時間的にも空間的にも活性化パターンを繰り返すことはありません。柔軟な行動を促進する多様性が存在するのです。

===== 変調されたシナプス可塑性：自動的な重み更新を超えて =====

　記事では第3のメカニズム、**「[[https://pubs.aip.org/aip/aml/article/2/2/021501/3291446/Brain-inspired-learning-in-artificial-neural|変調されたシナプス可塑性（Modulated synaptic plasticity）]]」**、つまりネットワークの重みがいつ、どのような条件下で永続的に変化するかについても議論しています。

　従来のディープニューラルネットワークでは、すべてのエラーが重みの更新を生むため、可塑性は自動的です。しかし、生物学的システムでは、ニューロン間の活動の同時発生が学習を保証するわけではありません。結合が強化または弱化するためには、特定の神経変調状態が必要であり、それはあたかも「許可」または「拒否」のシグナルのようです。

　著者らは、重みの更新を許可またはブロックする変調信号を導入し、エラーの計算そのものではなく可塑性を条件付けています。これらのアプローチの結果、シーケンシャルな学習（逐次学習）における測定可能な改善と、以前のタスクの**「[[https://www.pnas.org/doi/10.1073/pnas.1611835114|破滅的忘却（Catastrophic forgetting）]]」**の減少が示されています。

===== 非時間的アーキテクチャにおける生体模倣ディープラーニングの限界 =====

　しかし、これらの進歩はすべて、本質的に**「非時間的（Atemporal）」**なアーキテクチャ内で行われています。脳において神経変調は、活動が時間とともに展開するシステムに作用します。ほとんどのディープニューラルネットワークにおいて、時間は内部計算の一部ではなく、外部の枠組みとしてのみ存在します。ネットワークはステップバイステップでトレーニングされますが、推論（Inference）中には進化する状態が存在しません。

　したがって、著者らは神経変調を導入してはいるものの、実際に行っているのは静的システムのパラメータ調整であり、生きたプロセスの変調ではありません。

　[[https://en.wikipedia.org/wiki/Attention_Is_All_You_Need|Transformers（トランスフォーマー）]]において、この限界はさらに顕著です。[[https://www.ibm.com/think/topics/attention-mechanism|アテンション・メカニズム]]は、入力の異なる部分に相対的な重みを割り当てる数学的操作です。どの情報がより重要かを決定するのには役立ちますが、持続性や状態間の遷移を導入するものではありません。時間は象徴的なものであり、動的なものではありません。

　このため、Transformersの生体模倣神経変調において実際に行われているのは、表現の組み合わせの変調です。持続的な活性化も、レイテンシ（潜時）も、推論中の学習もありません。パフォーマンスは向上しますが、脳における機能的役割は再現されていません。

===== Neuraxonにおける神経変調：生体模倣AIへの真に動的なアプローチ =====

　**[[tag/Neuraxon]]（[[https://github.com/DavidVivancos/Neuraxon|ニューラクソン]]）**は異なる前提から出発しています。その基本設計において、計算は時間の経過（Over time）ではなく、**時間の中（In time）**で行われます。システムは、明確な外部刺激がない場合でも進化し続ける内部状態を保持します。閾値下活動、持続性、そして状態間の遷移が計算の一部となっています。

　この文脈において、神経変調は、学習率やドロップアウトのような外部パラメータの調整としてではなく、**内部ダイナミクスの直接的な変調**として実装されます。

　変調因子は、活動がどのように伝播し、どのパターンが安定し、どのような条件下でシステムがより可塑的になるか、あるいはより保守的になるかに影響を与えます。

　脳との比較は明白です。数千の受容体や極めて複雑な解剖学的構造を持つ脳の複雑さを完全に再現することはできません。しかし、保存されているのは本質的なもの、すなわち**「状態のダイナミクス」**です。学習は、トレーニングと推論を分けることなく、システム自体の動作中に行われます。

　この意味で、**[[tag/Neuraxon]] - [[tag/Aigarth]]** は、バッチでトレーニングされたネットワークよりも、生きたシステムのように振る舞います。生体模倣神経変調はシステムの一部であり、数学的な最適化メカニズムではありません。これは、計算リソースが任意の計算ではなくAIトレーニングに有意義に寄与する、**有用な仕事の証明（Useful Proof of Work / [[tag/UPoW]]）**に基づいて構築された Qubic の分散型 AIのビジョンと一致しています。

===== 参考文献 =====


  * Mei, J., Muller, E., & Ramaswamy, S. (2022).  [[https://www.cell.com/trends/neurosciences/abstract/S0166-2236(21)00256-3|Informing deep neural networks by multiscale principles of neuromodulatory systems]]. Trends in Neurosciences, 45(3), 237-250.
  * Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014).  [[https://jmlr.org/papers/v15/srivastava14a.html|Dropout: A simple way to prevent neural networks from overfitting]]. Journal of Machine Learning Research, 15(1), 1929-1958.
  * Kirkpatrick, J., et al. (2017).  [[https://www.pnas.org/doi/10.1073/pnas.1611835114|Overcoming catastrophic forgetting in neural networks]]. PNAS, 114(13), 3521-3526.
  * Bromberg-Martin, E. S., Matsumoto, M., & Hikosaka, O. (2010).  [[https://pmc.ncbi.nlm.nih.gov/articles/PMC3032992/|Dopamine in motivational control: rewarding, aversive, and alerting]]. Neuron, 68(5), 815-834.
  * Glimcher, P. W. (2011).  [[https://www.pnas.org/doi/10.1073/pnas.1014269108|Understanding dopamine and reinforcement learning: The dopamine reward prediction error hypothesis]]. PNAS, 108(Supplement 3), 15647-15654.
  * Schmidgall, S., et al. (2024).  [[https://pubs.aip.org/aip/aml/article/2/2/021501/3291446/Brain-inspired-learning-in-artificial-neural|Brain-inspired learning in artificial neural networks: A review]]. APL Machine Learning, 2(2), 021501.
  * Vaswani, A., et al. (2017).  [[https://en.wikipedia.org/wiki/Attention_Is_All_You_Need|Attention Is All You Need]]. Advances in Neural Information Processing Systems, 30.


===== 議論に参加しましょう =====

　生体模倣AIや、ニューラルネットワークにおける神経変調の未来について、あなたはどうお考えですか？ ぜひ皆様のご意見をお聞かせください！ Qubicコミュニティに参加して、私たちと繋がりましょう：

  * **Discord:** https://discord.gg/qubic
  * **X (Twitter):** https://x.com/_Qubic_
  * **Telegram:** https://t.me/qubic_community

　//[[https://qubic.org/|Qubic]] で分散型AIの未来を築く。//

----
----

===== Gemini による要約 =====

　Qubicチームによる、脳の仕組みを応用した次世代ニューラルネットワーク「Neuraxon」の優位性に関する解説の要約。

[[https://drive.google.com/file/d/14KwY0v0jha_IA2qIYAI-zceFHE_vscvQ/view?usp=drive_link|{{.:pasted:20260205-104444.png?800|}}]]\\
　[[https://drive.google.com/file/d/14KwY0v0jha_IA2qIYAI-zceFHE_vscvQ/view?usp=drive_link|Google NotebookLM によるスライドPDF]]


==== 1. 脳における「神経変調」とは？ ====

　脳はドーパミンやセロトニンなどの神経伝達物質（神経変調）を用いて、状況に応じて学習のルールを動的に変化させています。

  * **役割:** 
    * 経験によってニューロンの反応時間や統合の仕方を調整する。

  * **目的:** 
    * 安定した環境での効率性と、変化する環境への適応力を両立させる。

==== 2. 既存のディープラーニングの限界と生体模倣アプローチ ====

　従来のAI（ディープニューラルネットワーク）は、学習設定が固定されているため、タスクが変わると適応が困難です。これに対し、3つの生体模倣的な解決策が示されています。

^ メカニズム ^ 概要 ^ 生体における役割の模倣 ^
| **動的な学習率** | エラー修正の幅（学習率）を文脈で変化させる。 | 新規性（ドーパミン）への反応。 |
| **ドロップアウト** | 一部のニューロンをランダムに停止させ、頑健性を高める。 | 多様な経路を用いた柔軟な行動。 |
| **変調された可塑性** | 特定の条件下でのみ「重み」を更新する（許可/拒否）。 | 学習の「ゲート（門番）」機能。 |



==== 3. 決定的な違い：「時間」の捉え方 ====

　現在のAI（Transformerなど）と Qubic の [[tag/Neuraxon]] には、**「時間（Time）」**の扱いに根本的な違いがあります。

  * **従来のAI (Atemporal):** 
    * 時間は外部の枠組みに過ぎず、計算自体は静的。推論中に新しいことは学ばない。

  * **Neuraxon (In Time):** 
    * 計算そのものが時間の中で展開する。外部刺激がなくても内部状態が進化し続け、推論しながら学習を行う。

==== 4. Neuraxon - Aigarth のビジョン ====

　Qubic の AI は、単なる数学的最適化ではなく、**「生きたシステム」**に近い挙動を目指しています。

  * **内部ダイナミクス:** 
    * 学習率の調整などを外部から行うのではなく、システム自体のダイナミクスとして実装。

  * **分散型AI:** 
    * **有用な仕事の証明 ([[tag/uPoW]])** を通じ、世界中の計算リソースをこの「生きたAI」のトレーニングに直接投入する。

==== 結論 ====

　[[tag/Neuraxon]]は、従来の「バッチ学習」の枠を超え、時間とともに成長し適応する真の分散型AIを実現します。

　これは、Qubic がただの決済手段ではなく、AIインフラの頂点を目指していることの証明です。


{{tag>260204 Neuraxon Aigarth news  blog }}