일본 조폭의 기원은 메이지유신으로 거슬러 올라갈 수 있다. 무사 계급이 폐지되자 많은 무사들이 삶의 중심을 잃고 점차 폭력 범죄로 전향했다. 일부 무사들은 장사를 시작하거나 사람을 볼 수 없는 업종 (예: 카지노 개업, 매음굴 개업 등) 에 종사하기 시작했고, 천천히 이 무사들은 결탁하기 시작하여 결국 각종 갱단과 동아리를 형성하였다.
처음에는 일본 마피아가 일본 정부의 중점 감시와 타격의 대상이었다. 그들의 지하산업이 이미 일본 사회의 정상적인 질서를 심각하게 교란시켰기 때문이다. 제 2 차 세계대전 이후 일본은 전패국으로서 사회질서가 상대적으로 안정되어 정부가 이 모든 것을 통제할 능력이 없었기 때문에 일본 정부는 조폭 조직과 묵계를 맺었습니다. 즉, 정부가 조폭 조직의 합법적인 지위를 인정하고, 조폭 조직은 법률의 틀 안에서 정부가 사회질서를 유지하도록 도왔습니다.
그러나 일본 마피아의 합법성이 일본 갱단이 불법적인 일을 할 수 있다는 것을 의미하지는 않는다는 점에 유의해야 한다. 일본 갱단이 일본 법을 어기는 일을 하면 일본 정부의 처벌을 받게 된다. 물론, 일부 지역에서는 경찰이 해당 지역의 공공질서를 어지럽히지 않고 일부 갱단 활동을 적당히 용인하여 흑백이 아닌 묵계를 이룰 것이다.
이런 식으로 피비린내 나는 원시 자본 축적을 통해 일본 조폭들은 기본적으로 자신의 합법적인 자산과 정당한 수입을 가지고 있어 성공적으로 씻겨졌다. 현재 일본 조폭 조직은 일반인과 충돌이 거의 일어나지 않고 있으며, 갱단 싸움은 주로 두 대립 갱단 사이에 이익 갈등으로 발발한 것이다. 그리고 일본 조폭 조직의 규칙은 점점 더 엄격해지고 있으며, 자신의 행동을 법이 허용하는 범위 내에서 통제하고, 자신이 정부 타격의 대상이 되지 않도록 최선을 다하고 있다. 조폭이 폭력그룹으로 정의되면, 각 방면의 엄격한 제한을 받을 수 있기 때문이다.
요컨대, 일본 마피아는 마약 밀매, 싸움, 거액 수거, 사회 보호, 지역법 준수, 대중 뿌리를 내리고, 서민 생활을 방해하지 않는 이미지, 때로는 사회질서 유지, 조직력 구호 역할을 하기도 한다. 그래서 사람들이 보는 일본 악당들은 양복, 신발, 넥타이를 착용하는 것을 보았는데, 칼에 맞지 않는 마피아와는 사뭇 달랐다.