この区域は、江戸時代初期に「忍びの衆」と呼ばれていた伊賀者(いがもの)の役屋敷があったことから「忍町」と呼ばれるようになりました。伊賀者は普段は周辺の農村に住み、職務に応じてこの城下町や江戸に詰めていました。赤井家(あかいけ)住宅は、江戸時代の面影を残す、国登録有形文化財です。