調査ノート　2026-09-13

ハエのモデルを教わる側と教える側に置いた二つの計測

疎な符号化も配線図も、教えやすさと教える力を動かさなかった

背景

本サイトの前の五本は、ショウジョウバエのコネクトームと嗅覚回路に由来するモデルを、対照を置いて測ったものである。幼虫の配線図を固定の再帰層に使う分類器は、配線を組み替えても、課題を難しくしても、精度が動かなかった。嗅覚回路に倣ったハッシュの優位は、データの内在次元で決まっていた。本調査はその続きで、同じモデルを、学習する場面ではなく、教える場面に置いた。

教える場面には二つの向きがある。一つは、モデルが教わる側に立つ向きである。教師が例を選んで学習器に見せるとき、学習器を目標まで運ぶのに要る例の数を、Goldman と Kearns は教示次元と呼んだ。Zhu はこれを機械学習の逆問題として定式化し、Liu らは学習器の状態を見ながら例を一つずつ選ぶ手続きを示した。学習器の側には、Shen らが嗅覚回路から取り出した二層の回路がある。疎な高次元の符号化と、活動した細胞だけの結合を変える連合学習からなり、続けて学ぶときに前の記憶を壊しにくい。この回路は教えやすいのか、という問いは、調べた限りでは扱われていない。

もう一つは、モデルが教える側に立つ向きである。Hinton らは、大きな網の出力の確率分布を小さな網に真似させる蒸留を示した。教師の出力には正解のラベル以外の情報が含まれ、生徒はそれを受け取る。配線図で固定した網は、自分の精度では組み替えた網と区別がつかなかった。しかし精度に出ないものが出力の分布に残っているなら、生徒に渡るはずである。これも、調べた限りでは測られていない。

本調査は、この二つの向きを一つずつ測った。どちらも問いは同じで、ハエに由来する部品は、教える場面で何かを変えるか、である。

対象と方法

教わる側

学習器は四つ用意した。すべて、入力を符号に変え、クラスごとに符号を足し込み、テストでは足し込んだ重みとの内積が最大のクラスを答える。足し込む規則はヘブ則で、クラスごとに例数で割るので、重みは符号空間でのクラスの重心である。四つの違いは符号化だけで、ハエの部品を一つずつ抜いた。

教師は四種類である。候補はMNISTの訓練集合から各クラス300枚、教師が精度を見る検証は別の5,000枚、評価はテストの10,000枚とした。予算はクラスごとに同数で、10枚から500枚まで六段階である。

1. 学習器を知る教師。学習器の内部をそのまま持ち、検証精度が最も上がる例を一枚ずつ足す。Liu らの手続きに近い。
2. 無作為。十回引いた。
3. 典型順。符号空間でクラスの重心に近い順に見せる。
4. 多様順。既に見せたものから最も遠い例を次に見せる。

参照として、訓練集合60,000枚すべてを足し込んだ重心の精度も測った。乱数の種は二つで、射影と候補の引き方を変えた。

順番への敏感さは別に測った。重心の読み出しは足し算なので、順番を変えても結果は厳密に同じである。これは検算であって結果ではなく、毎回、幅が0になることを確かめた。順番が効く学習器にするために、一枚見せるごとにすべての重みを一定の割合で減らす規則を加えた。減衰は0.01と0.05の二通りである。減衰はクラスごとの重みの大きさを最近見せた順で変え、それだけで答えが決まってしまうので、判定は重みの向きだけで行った。学習器を知る教師が選んだ100枚を、30通りの順番で見せた。クラスの並びは保ったまま、クラス内で典型順と、その逆の順も試した。

教える側

教師は、前のノートで作った分類器である。画像を学習する線形写像で430個の感覚ニューロンに入れ、2,952ニューロンの状態を固定した結合行列で8段更新し、218個の出力ニューロンから学習する線形写像で10クラスに落とす。結合行列だけを四通りに置き換えた。実際の配線、各ニューロンの入次数と出次数を保った組み替え、枝数だけを合わせた乱数、そして幅430の密な乱数行列である。入口と出口の初期値と学習の手続きは同じで、10エポック、種は三つである。

生徒は、隠れ層128の小さな多層パーセプトロンとした。教師の出力を温度4で平滑化した分布に生徒の出力を近づける損失と、正解ラベルの損失を9対1で混ぜた。生徒の条件は三つである。

1. ラベル60,000枚と、教師の出力。
2. ラベル1,000枚と、その1,000枚への教師の出力。
3. ラベル1,000枚と、その1,000枚への教師の出力に加えて、残り59,000枚のラベルの無い画像に教師が付けた出力。

教師なしで正解ラベルだけから学んだ生徒も、一と二の条件で測った。計測は、生徒のテスト精度、教師との答えの一致率、教師が間違えた画像での生徒の正答率である。

結果

教わる側

テスト精度を、学習器と教師と予算ごとに示す。種二つの平均である。

各学習器が自分の全データの重心の90%に届くのに要る例数は、四つとも、学習器を知る教師で20枚、無作為で200枚だった。典型順は0.75で頭打ちになり、多様順は50枚から100枚で無作為を下回った。密な拡張と符号と画素の典型順と多様順も、ハエ型と同じ形だった。

順番への敏感さは次の通りである。学習器を知る教師が選んだ100枚を30通りの順番で見せたときの、平均と標準偏差と幅を示す。

減衰なしでは、順番を変えても幅は毎回厳密に0だった。減衰を入れると順番が効くが、その大きさは四つの学習器で同じである。クラス内で典型順に見せても逆順に見せても、無作為な順番の平均から離れなかった。

教える側

教師の精度は、実際の配線0.9742、次数を保った組み替え0.9717、枝数だけの乱数0.9765、密な乱数行列0.9741で、前のノートと同じである。生徒の精度を示す。種三つの平均で、括弧内は標準偏差である。

実際の配線の教師と次数を保った組み替えの教師の差は、三条件で+0.0032、-0.0019、+0.0026である。枝数だけの乱数との差は+0.0020、-0.0043、+0.0016だった。教師との答えの一致率は、ラベル60,000で0.98、ラベル1,000で0.93から0.95、教師が付けた59,000を加えると0.98で、教師の種類による差は無かった。

考察

教わる側では、ハエの部品は教えやすさを変えなかった。教えるのに要る例数は四つの学習器で同じで、到達点は0.865から0.880の帯に収まり、順番への敏感さも同じ大きさだった。教えやすさを決めているのは、四つに共通する重心の読み出しである。符号化を変えても、その上に載る規則が同じなら、教師から見た学習器は同じに見える。

副産物が一つある。学習器を知る教師が選んだ各クラス20枚が、6,000枚の平均に8ポイント勝った。重心は判別に最適な境界を作らない。教師が例を選ぶだけで、重心を判別的な位置へ動かせる。伸びが最も大きかったのは画素の学習器で、0.73から0.87になった。典型を見せる教え方が弱く、多様に見せる教え方が害になるのは、どちらも重心を動かす向きを考えていないからである。効いたのは、学習器の精度を直接見る教師だけだった。教える側が学習器を知っている、という条件が要る。

教える側では、配線は教える力を変えなかった。実際の配線の教師と、次数を保って組み替えた教師と、次数を壊して組み替えた教師は、同じ生徒を作った。前のノートで自分の精度に出なかったものは、出力の分布にも残っていなかった。ラベル60,000枚では、教師なしの生徒が全教師付きの生徒より高い。教師の精度が生徒の届く高さより低いので、蒸留は足を引いた。

一つだけ目立つ差がある。ラベル1,000枚の生徒では、密な乱数行列の教師だけが1ポイント悪かった。実際の配線でも組み替えでも、疎なグラフを再帰させた教師は同じ生徒を作り、密な行列の教師だけが違う。配線の中身ではなく、疎な再帰という教師の形が、少ないデータの生徒に渡る分布の形を変えている可能性がある。ただし三つの種での観察で、教師の付けた59,000枚を加える条件では消えている。主張には種を増やし、教師の出力の較正を測る必要がある。

二つの計測を合わせると、結論は前の五本と同じ形になる。ハエに由来する部品を抜いても入れても、教える場面の結果は動かない。動かしたのは共通部分で、学習器では読み出しの規則、教師では再帰の深さと学習する両端だった。

限界

• 課題はMNISTだけである。重心で8割に届く課題では、符号化の違いが出る余地が小さい。
• 学習器を知る教師は、学習器の内部を完全に持つ理想化である。人が教える場面は、これとは違う。
• 順番への敏感さは、減衰つきの規則で測った。Shen らの、活動した細胞の結合だけを変えて残りを凍結する規則そのものでは測っていない。
• 教える側は生徒が一種類、蒸留の温度と混合比が一通りである。密な乱数行列の教師だけが悪かった理由は分かっていない。

参考文献

1. S. A. Goldman and M. J. Kearns (1995). On the Complexity of Teaching. Journal of Computer and System Sciences 50(1), 20-31.
2. X. Zhu (2015). Machine Teaching: An Inverse Problem to Machine Learning and an Approach Toward Optimal Education. AAAI 2015.
3. W. Liu, B. Dai, A. Humayun, C. Tay, C. Yu, L. B. Smith, J. M. Rehg, and L. Song (2017). Iterative Machine Teaching. ICML 2017. arXiv:1705.10470
4. Y. Shen, S. Dasgupta, and S. Navlakha (2021). Algorithmic insights on continual learning from fruit flies. arXiv:2107.07617
5. S. Dasgupta, C. F. Stevens, and S. Navlakha (2017). A neural algorithm for a fundamental computing problem. Science 358(6364), 793-796.
6. G. Hinton, O. Vinyals, and J. Dean (2015). Distilling the Knowledge in a Neural Network. NIPS 2014 Deep Learning Workshop. arXiv:1503.02531
7. S. Yu, Z. Qin, T. Liu, B. Xu, R. J. Vogelstein, J. Brown, and J. T. Vogelstein (2025). Biological Processing Units: Leveraging an Insect Connectome to Pioneer Biofidelic Neural Architectures. AGI 2025. arXiv:2507.10951
8. M. Winding et al. (2023). The connectome of an insect brain. Science 379(6636), eadd9330.
9. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE 86(11), 2278-2324.

資料

• 計算コードと結果　zip／教える実験の2本を含む
• 教える側の教師を作ったノート　本サイト

筆者　鶴田-S