本稿ではJ. Piagetのシェマ理論における同化・調節及び均衡化・分化の概念を強化学習の枠組みに適用することにより累増的に行為概念を獲得することの出来る仕組みを提案する. この手法はただ一つの報酬チャンネルを用いた相互作用を用いてユーザや環境と相互作用する中で様々な行為を獲得していくことの出来る自律ロボットの実現を目指したものである. 提案手法は広く一般のTD学習に適用可能である. 本稿ではQ学習と双シェマモデルにおける強化学習に適用した実験例を示す. いずれの場合にも教師の明示的な指示なしに, 強化学習器を分化させ複数の行為概念を獲得することが出来る. また, この仕組みにより報酬は新規の行為を獲得させるという役割以外に, 獲得した行為を想起させるという役割を担うようになる.