忍者の実像は「伊賀衆」「甲賀衆」と呼ばれた「地侍」たちだった。戦国時代、この地域からは大きな力を持った大名が現れず、自らの地を自らの力で治める必要から自治が発達し、お互いに連携をして地域を守っていた。地侍たちは一国、一郡規模で連合し合い、そうした自治組織を「伊賀惣国一揆いがそうこくいっき」そして「甲賀郡中惣こうかぐんちゅうそう」と呼び、互いに同盟し合って仲が良かった。一族の結束は強く、「一味同心」に団結し、「諸事談合」して、時には多数決さえ用いて物事を決めており、「みんなで集まり、話し合いで決める」こと、これが忍者の里の「掟」だった。封建制が強まり、下克上の嵐が吹き荒れる戦国時代にあって、一人の領主による力の支配ではなく、皆で力を合わせて地域の平和を守ってきた姿は、テレビやアニメで描かれる非情な世界とはまったく異なる。
それが城館の分布に現れている。ここでは突出した権力がないため特別に大きな城はなく、また同種の地侍たちが集まっていたため、同じ形、同じ大きさの城館が狭い地域にひしめき合う世界が出現した。しかし天下統一を目指した織田信長や豊臣秀吉などの強大な権力の出現とともに、こうした地侍の自治組織も終焉を迎える。
一方、戦国時代を通じて忍びの技術は重宝され、各地の大名に仕え活躍していた。中でも天正10年(1582)の本能寺の変後、堺にいた徳川家康が本国三河に帰る最短ルートとしてこの地を駆け抜けた際、伊賀者、甲賀者が家康を護衛し、その活躍が今日まで「神君伊賀越え」として語り継がれている。