В основе организации якудза лежит традиционная для Японии мужская клановая организация: "отец - дети" и "старшие братья - младшие братья". Глава клана называется оябун ("шеф") или кумитё ("старший начальник"). Он - начальник всех и над всеми.
Далее в иерархии следуют сайко комон ("старший советник"), со-хомбутё ("глава штаб-квартиры"), вакагасира ("второй человек, заместитель"), фуку-хомбутё ("помощник шефа"). Все они командуют некоторым количеством банд, и их влияние определяется количеством "подотчетных штыков". Если кумитё погибает, один из его подчиненных занимает его место.
Также кумитё подчиняются комон (советники), сингиин (консультанты), кумитё хисё (секретари) и кайкэй (бухгалтеры).
Непосредственно банды состоят из старших бригадиров сятэй ("младшие братья"), младших бригадиров вакасю ("юнцы") и простых якудза. В каждую из них входит примерно от 20 до 200 человек. Соответственно, в клан могут входить десятки тысяч якудза. Такой клан может контролировать несколько городов.
Существуют и независимые банды, не входящие в кланы. Однако создать такую банду исключительно трудно - вся территория уже поделена. Одинокий же якудза выжить не может вообще.
При приеме в клан совершается обряд сакадзуки - шеф и новый член клана пьют из одной чашечки сакэ. Так они становятся членами одной семьи.
Для узнавания друг друга и отличения от толпы якудза часто носят значки с "даймон" - эмблемой, гербом клана. Якудза-руководители имеют право носить золотые даймон.