On paljon sisältöä, jota pidetään liian väkivaltaisena, seksuaalisena, loukkaavana tai muuten katsottavaksi sosiaalisessa mediassa. TikTok, Instagram, Facebook, Twitter / X, ne kaikki moderoivat sisältöään vaihtelevassa määrin, mutta jos luulit, että kaiken takana on jokin iso tietokone, kannattaa ehkä miettiä uudelleen.
Oikeat ihmiset käyvät läpi näille sivustoille ladatun sisällön varmistaen, että vaikka emme ehkä koskaan näe kauheita nähtävyyksiä, he altistuvat niille jatkuvasti, päivittäin. BBC keskusteli Nairobissa toimivan moderaattorin Mojezin kanssa siitä, kuinka paljon se voi vaatia moderaattorin elämää.
"Jos otat puhelimesi ja siirryt sitten TikTokiin, näet paljon toimintaa, tanssia, tiedätkö, onnellisia asioita", hän sanoi. "Mutta taustalla itse moderoin sadoissa kauhistuttavissa ja traumatisoivissa videoissa. Otin sen itselleni. Anna mielenterveyteni ottaa isku, jotta tavalliset käyttäjät voivat jatkaa toimintaansa alustalla.
Vaikka moderaattoreita on ympäri maailmaa, suuri osa heistä sijaitsee Itä-Afrikassa, ja monet moderaattorit väittävät, että työ on tuhonnut heidän mielenterveytensä. Jotkut ovat jättäneet alan kokonaan, kun taas toiset ovat liittyneet yhteen muodostaakseen liiton.
Tekoälymallit ovat työn alla tämän moderoinnin toteuttamiseksi, mutta ihmisten on koulutettava niitä, ja siksi heidän on edelleen nähtävä hirvittävää ja loukkaavaa sisältöä. Ennen kuin yksi tällainen työkalu voi täydellisesti moderoida verkkotiloja, etulinjassa on ihmisiä.