Опасность «черных ящиков»

Сложные модели машинного обучения не поддаются интерпретации. С одной стороны, это нормально: например, механизм действия заметной части современных лекарств сейчас также не понятен. С другой стороны, полагаться на «всегда правильные» ответы алгоритмов опасно. Торговые роботы периодически обваливают рынки, а российских студентов предлагают отчислять по рекомендации ИИ — не потребуются ли здесь объяснения?