幼虫コネクトームを固定の再帰層に使う分類器と、難しい課題およびデール則
天井の無い課題でも、各ニューロンに一つの符号を与えても、実際の配線は組み替えた対照に並んだままだった
同日に公開した調査ノートで、幼虫コネクトームを固定の再帰層に使った分類器は、配線を組み替えた対照や乱数の固定行列とMNISTの精度が変わらないと報告した。これには二つの反論がありうる。MNISTは易しすぎて天井に隠れているという反論と、配布行列に符号が無いため興奮性と抑制性を落とした状態で試したという反論である。ファッションMNISTと灰色に変換したCIFAR-10で、符号なしとデール則に従う符号ありの四通りを測った。実際の配線と次数を保った対照の差は、四通りとも乱数の種を変えたときのばらつきより小さかった。
| 方法 | 前のノートと同じ再実装を用い、課題だけをファッションMNISTと灰色のCIFAR-10に替えた。符号は配布データに無いため、各ニューロンに一つの符号を与えて出ていく枝すべてに同じ符号を掛ける形、すなわちデール則に従う割り当てを作った。2,952個のうち905個を抑制性とし、同じ割り当てを実際の配線にも対照にも使う。正規化は符号付き行列で列和が0を跨ぐため、全条件で特異値によるものに統一した。8エポック、各条件2つの種、次数を保った対照は独立に2本。 |
|---|---|
| 結果 | ファッションMNISTでは実際の配線0.8707、次数を保った対照0.8727から0.8698、乱数の固定行列0.8741。灰色のCIFAR-10では実際の配線0.3491から0.3503、対照0.3480から0.3495、乱数の固定行列0.3556。一つの条件の中で種を変えたときの最大の開きは0.0025で、実際の配線と対照の差は四通りとも0.0019以下。 |
| 知見 | 二つの反論はどちらも結論を変えない。天井の無い課題でも配線は効かず、構造のある符号を入れても効かない。むしろ実際の配線は四通りとも乱数の固定行列を下回り、CIFAR-10ではその差が種のばらつきを超える。 |
| 限界 | 真の興奮性と抑制性は配布データに無いため、試したのは「構造のある符号が効くか」であって動物自身の符号ではない。正規化を変えたので前のノートの絶対値とは比べられない。各条件2つの種しか走らせていない。灰色のCIFAR-10の35%はどの基準でも弱く、天井が無いという狙いは満たすが、この構成では扱えない課題である可能性も残る。 |
背景
同日に公開した調査ノートで、Yu らが2025年に提案した Biological Processing Unit を再実装し、ショウジョウバエ幼虫のコネクトームを固定の再帰層としてMNISTに当てた。実際の配線0.9742に対し、各ニューロンの入次数と出次数を厳密に保ったまま組み替えた対照は0.9722、枝数だけ合わせた乱数は0.9765、同じ大きさの密な乱数行列は0.9741だった。差はいずれも乱数の種を変えたときのばらつきと同じ大きさで、配線図の中身は効いていないと結論した。
この結論には二つの反論がありうる。前のノートの「限界」に自分で書いた二つである。
一つ目は課題が易しすぎるというもの。MNISTはどの条件も97%に届くので、本当の差が天井の下に隠れている可能性がある。
二つ目は符号である。実際のシナプスは興奮性か抑制性かのどちらかで、配布されている行列はシナプスの本数しか持たない。前のノートはすべて正として扱った。配線の半分を落とした状態で試したことになる。
対象と方法
符号について測れることと測れないこと
幼虫コネクトームの配布データに神経伝達物質の列は無い。注釈ファイルが持つのは左右の個体識別子、細胞型、追加の注記、そしてクラスタ番号だけである。つまりこのデータから作業している者は誰も真の符号を持っていない。
代わりに測れることがある。構造のある符号を入れたときに比較そのものが変わるかである。各ニューロンに一つの符号を与え、そのニューロンから出ていく枝すべてに同じ符号を掛ける。これはデールの原則にあたる割り当てで、符号が枝ごとにばらばらに付く場合とは統計が違う。2,952個のうち905個を抑制性とした。
肝は、同じ割り当てを実際の配線にも対照にも使うことである。対照は次数を保った組み替えなのでニューロンの同一性は保たれており、同じ符号ベクトルを掛けられる。これで符号の統計は両者で完全に一致し、違いは配線だけになる。
もし実際の配線が符号を入れたときだけ対照を上回るなら、二つ目の反論は本物で、真の符号を手に入れる価値がある。変わらないなら、真の符号を待たずに反論に答えたことになる。
課題
ファッションMNISTと、灰色に変換したCIFAR-10を使った。どちらもMNISTと同じ形の問題でありながら、この規模の構成では天井から遠い。
正規化
前のノートで論文の精度に最も近かったのは、各ニューロンの入ってくる重みの和で割る正規化だった。符号付きの行列ではこの和が0を跨ぐので使えない。全条件で特異値による正規化に統一した。そのためここの絶対値は前のノートの数字と比べられない。意味があるのは各組の中での比較だけである。
8エポック、Adam、学習率0.001、バッチ256、各条件に2つの種。次数を保った対照は独立に2本作り、検算で次数が厳密に一致し枝の97.7%が組み替わっていることを確認した。
結果
| 課題と符号 | 実際の配線 | 次数を保った対照 | 乱数の固定行列 |
|---|---|---|---|
| ファッションMNIST・符号なし | 0.8707 | 0.8727 | 0.8741 |
| ファッションMNIST・デール則 | 0.8700 | 0.8698 | 0.8741 |
| 灰色CIFAR-10・符号なし | 0.3491 | 0.3480 | 0.3556 |
| 灰色CIFAR-10・デール則 | 0.3503 | 0.3495 | 0.3556 |
一つの条件の中で種を変えたときの最大の開きは0.0025である。これより小さい差は差ではない。
| 課題と符号 | 実際の配線 − 対照 | 実際の配線 − 乱数の固定行列 |
|---|---|---|
| ファッションMNIST・符号なし | −0.0019 | −0.0034 |
| ファッションMNIST・デール則 | +0.0002 | −0.0041 |
| 灰色CIFAR-10・符号なし | +0.0010 | −0.0065 |
| 灰色CIFAR-10・デール則 | +0.0009 | −0.0052 |
実際の配線と対照の差は四通りとも0.0019以下で、種のばらつきの内側にある。
考察
一つ目の反論は消える。灰色のCIFAR-10は35%であり、どの天井からも遠い。それでも実際の配線は組み替えた対照に並ぶ。
二つ目の反論も消える。デール則の欄は符号なしの欄とほとんど同じ形をしている。符号を与えること自体は、実際の配線を対照より有利にしない。真の符号が別の結果を出す可能性は残るが、少なくとも「符号を落としたから差が消えたのだ」という説明は成り立たない。
前のノートより一歩進んだことが一つある。実際の配線は四通りとも乱数の固定行列を下回っている。下回り方は0.0034から0.0065で、CIFAR-10では種のばらつきを超える。これらの課題では、コネクトームは同じ大きさの乱数行列と同等ですらなく、わずかに劣る。
説明として自然なのは、配線図が疎であることである。2,952個のニューロンに対し枝は63,518本で、密な行列の0.7%にあたる。疎な固定行列は密な固定行列より情報を通しにくい。生きものの配線がこの課題で有利になる理由が無い一方で、疎であることの不利は残る。ただしこれは本調査が測ったことではない。
限界
真の興奮性と抑制性は、この配布データから作業する限り手に入らない。試したのは構造のある符号であって動物自身の符号ではない。神経伝達物質の予測を別の出どころから持ってくれば、この問いは決着する。
正規化を変えたので、ここの絶対値は前のノートの数字と直接は比べられない。各条件2つの種しか走らせていない。
灰色のCIFAR-10の35%はどの基準でも弱い。天井が無いという狙いは満たすが、この構成ではそもそも扱えない課題である可能性も残る。扱えない課題では、どの再帰層を入れても差が出ないのは当然である。この点は、天井の反論を裏返した形で残っている。
参考文献
- S. Yu, Z. Qin, T. Liu, B. Xu, R. J. Vogelstein, J. Brown, and J. T. Vogelstein (2025). Biological Processing Units: Leveraging an Insect Connectome to Pioneer Biofidelic Neural Architectures. AGI 2025. arXiv:2507.10951
- M. Winding et al. (2023). The connectome of an insect brain. Science 379(6636), eadd9330.
- S. Maslov and K. Sneppen (2002). Specificity and stability in topology of protein networks. Science 296(5569), 910-913.
- B. K. Fosdick, D. B. Larremore, J. Nishimura, and J. Ugander (2018). Configuring Random Graph Models with Fixed Degree Sequences. SIAM Review 60(2), 315-355.
- H. Xiao, K. Rasul, and R. Vollgraf (2017). Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms. arXiv:1708.07747
- A. Krizhevsky (2009). Learning Multiple Layers of Features from Tiny Images. Technical report, University of Toronto.
Winding ら2023、Maslov と Sneppen 2002、Fosdick ら2018の3件は、著者名・掲載誌・巻号・頁を Crossref の登録記録と照合した。残る3件は照合していない。