Ловушка обслуживания: почему тестирование на основе ИИ — будущее QA опубликованный By Таль Бармейр, Соучредитель и генеральный директор BlinqIO Искусственный интеллект изменил ритм разработки программного обеспечения. Благодаря таким инструментам, как GitHub Copilot и ChatGPT, код теперь можно генерировать за минуты, а не за недели, а интерфейсы развиваются практически ежедневно. Однако на фоне этого ускорения контроль качества, призванный обеспечивать надёжность, стал самым серьёзным узким местом в отрасли. То, что разработчики когда-то называли автоматизацией, теперь всё больше воспринимается как ручное. Тесты терпят неудачу не из-за сбоев приложений, а из-за сбоев тестовых наборов. Проблема не в наших инструментах, а в наших предположениях. Годами отрасль относилась к контролю качества как к процедурному упражнению, последовательности щелчков, проверок и верификаций. Такой подход имел смысл, когда программное обеспечение развивалось медленно, но сейчас это уже не так. Новые темпы разработки требуют тестирования, способного адаптироваться так же быстро, как и защищаемый им код. Я называю это тестированием на основе эволюционных тенденций, то есть обеспечения качества, которое понимает намерения, интерпретирует контекст и реагирует на изменения, а не разрушается под их воздействием. Цифры подчеркивают актуальность. Мировой рынок тестирования программного обеспечения превысил 51.8 млрд долларов в 2023 году и, по прогнозам, будет расти на 7 процентов ежегодно до 2032 года. Только сегмент автоматизированного тестирования оценивается в 28.1 млрд долларов в 2023 году, как ожидается, достигнет 55.2 млрд долларов к 2028 году , среднегодовой темп роста 14.5%. Несмотря на эти инвестиции, команды по контролю качества по-прежнему застревают в реактивных циклах. Автоматизация обещала скорость, но часто приводила к нестабильности. McKinsey отмечает, что, хотя разработка программного обеспечения с использованием ИИ фундаментально меняет подход к созданию продуктов от начала до конца и повышает скорость поставки, она также оказание дополнительного давления на испытаниях и методах обеспечения качества, чтобы идти в ногу со временем. Нарушенное обещание автоматизации Во всех организациях повторяется одна и та же картина. Команды тратят дни на исправление нестабильных скриптов, которые дают сбои по причинам, не связанным с качеством продукта. Одно-единственное изменение в пользовательском интерфейсе, например, переименование кнопки, изменение макета или добавление шага, может привести к сбою сотен тестов. Каждое исправление приводит к увеличению затрат на обслуживание. Это привело к тому, что автоматизация стала именно тем, от чего она стремилась избавиться, — рутинным трудом. Процедурная автоматизация была построена на предположении, что интерфейсы остаются стабильными, а действия пользователя — предсказуемыми. Это предположение не выдержало испытаний, связанных с непрерывным развертыванием, A/B-тестированием и персонализацией в реальном времени. Современные системы изначально гибкие. Единственный способ для отдела контроля качества идти в ногу со временем — научиться интерпретировать поведение и смысл, а не статичные координаты на экране. Это ловушка сопровождения. Автоматизация, которая должна была ускорить разработку, на самом деле её замедляет, поскольку расходы на поддержку растут быстрее, чем создаваемая ценность. Этот парадокс — один из главных провалов современной программной инженерии. Почему генеративный ИИ упустил суть Развитие генеративного ИИ дало многим специалистам надежду на близкое спасение. Если ИИ мог писать код, он, несомненно, мог бы его и тестировать. Но реальность оказалась скромнее. Большинство так называемых инструментов «ИИ для обеспечения качества» по-прежнему опираются на хрупкую логику. Они генерируют скрипты быстрее людей, но эти скрипты остаются привязанными к тем же селекторам и зависимостям, которые всегда нас подводили. В результате комплексное академическое исследование показывает, что, несмотря на широкий интерес к тестированию с использованием ИИ, Реальное внедрение в командах по тестированию остается ограниченным . Эти системы ускоряют написание тестов, не меняя процесса обеспечения качества. Они могут быстро генерировать скрипты Selenium, но всё равно ломаются при перемещении элемента пользовательского интерфейса или изменении имени переменной. И хотя инструменты для тестирования ИИ существуют, в том числе от компаний, уже продвигающих эту область, более широкий сдвиг в отрасли пока не произошёл. Большинство решений по-прежнему ориентированы на генерацию кода, а не на понимание намерений. От сценариев к семантике Настоящая трансформация требует систем искусственного интеллекта, которые понимают, почему взаимодействие важно, а не только то, как оно осуществляется. Тестирование вибрации выходит за рамки процедурной точности и направлено на понимание на основе опыта. Вместо того, чтобы проверять, что «кнопка A ведёт на страницу B», оно оценивает, «достигает ли пользователь желаемого результата, даже если интерфейс изменился». Когда банковское приложение меняет свой процесс входа в систему, традиционный набор функций разрушается, а система тестирования вибрации распознаёт намерение, затем находит новый путь, проверяет результат и продолжает работу автономно. Разница определяет, способствует ли QA инновациям или препятствует им. Такой подход снижает нестабильность, сокращает расходы на обслуживание и позволяет командам контроля качества сосредоточиться на исследовательском тестировании и новых функциях, а не на исправлении неисправных скриптов. В масштабе это становится не только техническим, но и экономическим изменением. Экономика намерений В сфере финансовых услуг, где нормативные требования постоянно обновляются, тестирование на основе намерений позволило масштабировать проверку соответствия без пропорционального расширения отделов обеспечения качества. В отчёте о мировом качестве от Capgemini, Sogeti и OpenText описывается как команды высококвалифицированных инженеров переходят на ИИ и более интеллектуальную автоматизацию просто чтобы идти в ногу с более быстрыми циклами поставок и растущей сложностью системы. В электронной коммерции, где интерфейсы постоянно развиваются благодаря A/B-экспериментам и персонализации, компании, внедряющие подходы, основанные на намерениях, сократили время тестирования и сопровождения примерно на 40% за три месяца. Поставщики корпоративных SaaS-решений, управляющие несколькими средами развертывания, используют ту же логику для поддержания качества во всех вариантах без чрезмерных накладных расходов. Эти закономерности показывают, что речь идёт не о постепенном улучшении, а о фундаментальном изменении того, что экономически целесообразно в сфере обеспечения качества. Ограждения для автономного будущего Ни одна смена парадигмы не обходится без оговорок. Системы, которые самостоятельно перестраиваются и реорганизуются, по-прежнему требуют человеческого контроля. ИИ может неверно интерпретировать логику предметной области, если он не обучен в правильном контексте. Руководители служб обеспечения качества должны поддерживать строгие процедуры валидации, особенно в регулируемых секторах, где ошибки несут в себе реальный риск. Объясняемость и прослеживаемость также приобретают решающее значение. По мере того, как система обеспечения качества становится всё более интеллектуальной, каждый тест должен фиксировать, как он развивался и почему был пройден или не пройден. В банковском деле и страховании такой уровень проверяемости является нормативным требованием. Интеллектуальные системы отлично справляются с основными потоками пользователей, но могут упускать редкие или критически важные с точки зрения риска случаи. Уязвимости безопасности, сценарии соответствия требованиям и критические случаи нарушения целостности данных по-прежнему зависят от человеческих тестов и глубоких знаний предметной области. Сопротивление культуре остается реальным. Команды, работающие с Selenium или Cypress, не смогут измениться в одночасье. Переход требует инвестиций в обучение, управление изменениями и наглядной демонстрации ценности. Переход к адаптивному контролю качества Компании, наиболее эффективно внедряющие тестирование вибрации, придерживаются общей схемы. Они начинают с малого, часто пилотируя одну область приложения с высокой степенью изменений наряду со своими традиционными пакетами. Они тщательно измеряют результаты, отслеживают время обслуживания и уровень нестабильности и расширяют свою деятельность только после того, как результаты окажутся устойчивыми. Они инвестируют в то, чтобы помочь инженерам по контролю качества развиться из сценаристов в разработчиков моделей намерений и директоров по качеству, а не просто исполнителей. Они интегрируют адаптивный ИИ непосредственно в свои конвейеры DevOps, чтобы тесты корректировались по мере изменения кода, а не ломались под его воздействием. Главный урок носит не только технический, но и философский характер. Автоматизация, как мы её практиковали, стремилась к устранению неопределённости посредством контроля. Тестирование в условиях вибрации признаёт постоянство изменений и разрабатывается с учётом этого. Оно рассматривает тестирование не как этап завершения разработки, а как живой диалог между кодом, пользователем и системой. Результатом становится программное обеспечение, которое развивается, не теряя целостности. Обеспечение качества сейчас находится на распутье. Один путь ведёт всё глубже в ловушку обслуживания, где скрипты множатся, а инновации тормозятся. Другой — к адаптивному тестированию, ориентированному на намерения, к программному обеспечению, которое достаточно хорошо понимает себя, чтобы валидировать своё поведение. От этого выбора будет зависеть, какие организации смогут идти в ногу с будущим, ускоренным ИИ, а какие останутся в тупике, отлаживая прошлое. Следующее десятилетие качества будет измеряться не уровнем автоматизации, а уровнем нашего понимания. И победителями станут те, кто создаст системы, которые будут чувствовать пульс своих продуктов, то есть их атмосферу, и адаптироваться соответствующим образом. Source: https://www.unite.ai/ru/the-maintenance-trap-why-ai-vibe-testing-is-the-future-of-qa/