В 1990-х годах в немецкой армии было решено внедрить систему распознавания образов, предназначенную для автоматического выявления танков на местности. Для обучения системы требовались фотографии, и к делу привлекли двух фотографов: один снимал местность с танками, а другой без них. Готовые фотографии разделили на два набора: данные для обучения и тестовые данные. Обученная система идеально распознала танки на тестовых фотографиях, однако провалила первое же полевое испытание, оказавшись абсолютно непригодной к практическому использованию. Когда начали разбираться, в чем дело, то выяснилось, что каждый фотограф делал снимки со своим значением . Эти значения немного отличались, и в процессе обучения система натренировалась не обнаруживать танки, а распознавать разные значения диафрагмы.
Вполне возможно, что это просто байка.
Источником этой истории является один из комментариев к этой статье:
antialias_physorg
* 5 / 5 (1) May 25, 2018
...and 'bias' in a training set can be the oddest thing. Here's my personal favorite AI-fail story:In the 1990s the german army had an AI program that was supposed to identify tanks in front of scenery. So they sent out two photographers to take pictures of scenery: One took pictures with tanks the other without. Then the AI was trained. As usual the data was divided into two sets: training data and test data. After training on the training data the AI performed extremely well on the test data.They took this to the field and it didn't work. At all. Turns out the two photographers used slightly different f-stops. The AI had learned to identify what f-stop was used in an image -.not the content.That's the thing with AI...you can train it and it might work (even extremely well and be extremely useful), but you can't actually show *what* it has learned.