Inkasamfundet var en vertikal hierarkisk organisation, der var opdelt i fire sociale klasser. I toppen af laget var Sapa Inkaen, den mest magtfulde person i imperiet. Nedenunder var de kongelige, der bestod af sønnerne af Sapa Inkaen og hans nære slægtninge. Den tredje sociale klasse var adelen, som omfattede kongelige slægtninge og dem, der opnåede fornemme resultater gennem deres tjenester som f.eks. præster og høvdinge. Nederst i den pyramidale samfundsstruktur var ayllu, som omfattede størstedelen af befolkningen.
Ayllu-arbejdere, der indsamler kartofler som en del af deres mita-arbejde
.
Samfundet i Andesbjergene var bygget op omkring ayllu’erne. Alle dets medlemmer havde en eller anden form for familiebånd, som en udvidet familie. De troede alle, at de var efterkommere af en fælles forfader. Lederen af ayllu’en var curacaen. Ayllu’en var også grundlaget for den økonomiske aktivitet. Ayllu-medlemmerne bearbejdede jorden og tog sig af kvæget for at skaffe mad og tøj, og de arbejdede i minerne eller som vævere. De var alle forpligtede til at arbejde og bidrage til mita eller skatten. Til gengæld sikrede inkaen mad hele året, sørgede for landbrugsprodukter, der ikke blev produceret i området, uddannelse og sundhedspleje.