Во последните години, порастот на употребата на AI системи донесе зголемена потреба за
објаснивост на моделите, особено кај сложените длабоки невронски мрежи, кои често се
нарекуваат „црни кутии “[2]. Објаснивоста во AI се однесува на способноста на моделот
да ги презентира своите одлуки на начин што може да се разбере од човек [4]. Ова е особено
важно во критични апликации како медицинската дијагностика, каде што неразбирањето
на основните причини за предвидувањата на моделите може да предизвика сериозни
последици [11]