Společnost Koko, která sídlí v San Franciscu, se zabývá online chatovací službou pro emoční podporu. Po posledním experimentu s umělou inteligencí se ocitla v centru velké etické debaty.
V experimentu byl využit populární chatbot s umělou inteligencí GPT-3, který psal odpovědi na zprávy poskytnuté uživateli služby Koko. Lidé pak odpovědi před odesláním příjemcům kontrolovali a v případě potřeby upravovali. Přibližně 4 000 lidí obdržely odpovědi, jejichž autorem byla částečně umělá inteligence, píše NBC News.
Projekt Koko vyvolal obavy ohledně využívání technologií AI ve zdravotnických službách, zejména v oblasti duševní podpory. Kritici obvinili společnost z neetického chování a využívání zranitelných lidí jako účastníků testů bez jejich vědomí a souhlasu. Incident zdůraznil potřebu lepší kontroly a regulace výzkumu na lidech, zejména v kontextu soukromých podniků a neziskových skupin.
Spoluzakladatel společnosti Koko Robert Morris experiment obhajuje a tvrdí, že stálo za to jej vyzkoušet, protože GPT-3 byl často rychlý a odpovídal dobře. Upozornil také na výsledky experimentu, které odhalily, že lidé, kteří dostali komentáře, na kterých spolupracovala umělá inteligence, je hodnotili podstatně lépe než ty, které napsal pouze jeden člověk.
Avšak poté, co lidé zjistili, že odpovědi spoluvytvářela AI, výhody vylepšeného psaní se vypařily a lidé měli pocit, že empatie, kterou zažívali, byla umělá, takže se cítili divně a prázdně.
Kritici experimentu tvrdí, že Koko své uživatele dostatečně nevarovalo, že dostávají odpovědi vylepšené umělou inteligencí. Tento nedostatek transparentnosti a zveřejnění informací vyvolal obavy, že osobám trpícím duševním onemocněním se může přitížit, zejména pokud umělá inteligence napíše předpojatou odpověď, která zůstane bez kontroly.
Jedním z kritiků je Leslie Wolf, profesorka práva na Georgijské státní univerzitě, která píše o etice výzkumu a vyučuje ji. Vyjádřila znepokojení nad tím, jak málo služba Koko sdělovala lidem, kteří dostávali odpovědi doplněné umělou inteligencí.