Чтение онлайн

Вообще-то, я не очень хороший кандидат на роль участника тестирования - несмотря на все странности нашего блога (например, наполовину английский интерфейс), большинство стандартных действий я выполняю "на автомате", и чтобы столкнуться с какой-то проблемой, достойной анализа, приходится придумывать себе неочевидные задачи. "Участник, наверное, не должен быть знаком с продуктом для получения адекватных результатов?" - уточняю я. Татьяна отвечает, что все зависит от задачи: если нужно узнать, как будут реагировать новые пользователи, то и участники подбираются неопытные; а если, скажем, выпускается новая версия популярной программы или сравнивается два дизайна интерфейса, результаты тестирования опытных пользователей покажут, насколько болезненными (или, наоборот, приятными) для них окажутся изменения.

Впрочем, в моем случае за проблемой слишком далеко ходить не пришлось - пытаясь авторизоваться с помощью OpenID через LiveJournal, я достаточно быстро получаю сообщение об ошибке, которое заставляет меня задуматься на несколько секунд. "Что произошло, Илья?" - спрашивает Татьяна, постоянно поддерживающая со мной разговор в процессе тестирования с тем, чтобы я комментировал действия, а не замыкался в себе. (Этот прием называется "проговариванием" и часто используется в подобных тестах.) Возвращаясь на страничку назад (и проклиная разработчиков MSIE, в котором, судя по всему, до сих пор не сохраняются данные, введенные в веб-форму при возврате на страницу), я понимаю, что вместо своего логина в ЖЖ ввел полный путь к журналу. В другой ситуации я бы сказал, что это была моя ошибка (не заметил, что был выбран тип OpenID "LiveJournal account"), но "ошибок пользователя" здесь не бывает.

Справившись с OpenID, я, довольный, добавляю комментарий к собственной записи. Первая задача тестирования решена.

Я замечаю на столе странное устройство, напоминающее миниатюрный фонарный столб. "Это система для тестирования мобильных приложений, - поясняет Татьяна.
– На линейку кладется телефон, камера сверху записывает происходящее на экране и нажатые кнопки". Вообще говоря, подобные устройства есть и в промышленном исполнении, но UsabilityLab до недавнего времени вполне устраивала их "домашняя" разработка. "Юзабилити-лабораториям вообще довольно много приходится придумывать самим - область очень молодая, и на рынке далеко не всегда есть нужные решения; к тому же, так мы можем на 100% учитывать наши потребности". Впрочем, в скором времени "самоделка" все-таки уступит место промышленной модели.

Соседняя комната выглядит совсем иначе. Зеркало уже не зеркало, а окно. Две двухмониторные системы, на которых отображаются текущие действия участника. За одной находится сотрудник, непосредственно проводящий тестирование и общающийся с "испытуемым" (его называют фасилитатор или модератор), за другим - ассистент, отслеживающий происходящее и расставляющий пометки, которые потом упростят анализ записи - например, о начале или окончании выполнения задания, о возникшем затруднении и т. д.

Ряд стульев предназначен для представителей заказчика; обычный телевизор, на который транслируется картинка с видеокамеры - для них же. "Очень хорошо, когда заказчик участвует в процессе тестирования. Часто это производит очень сильное впечатление - говорит Татьяна.
– Одно дело - когда в ходе экспертной оценки сообщается о каких-то недостатках в интерфейсе, и совсем другое - когда можно увидеть, какие затруднения испытывают реальные живые люди при работе с программой". По ее словам, однажды после подобного "сеанса" заказчик буквально убежал переделывать интерфейс со словами "Ну, отчет вы, конечно, тоже пришлите, но мы уже свои ошибки и так поняли".

Вмешательство фасилитатора в процесс тестирования должно быть очень аккуратным. С одной стороны, зачастую требуется направить действия пользователя в нужное русло, чтобы получить необходимую информацию (например, если тестируется какой-то конкретный диалог, а пользователь норовит придумать решение поставленной перед ним задачи без использования этого диалога), с другой, участник тестирования должен обладать достаточной свободой в своих действиях, чтобы ситуация была реалистичной - поэтому явных указаний о том, что делать, не выдается.

После завершения праведных трудов пользователя остается подробная запись всех его действий, уже снабженная пометками и готовая для анализа - она пересматривается, определенные моменты снабжаются дополнительными комментариями и т.д. На "выходе" работы аналитика получается толстый письменный отчет, который можно снабдить видеоприложением - например, вырезав выражение лиц участников, когда те сталкивались с трудностями при совершении какого-то действия - дабы заказчик в буквальном смысле слова посмотрел своим проблемам в лицо. (Пример такого отчета мы надеемся выложить на том же многострадальном inside.computerra.ru.)

"По окончании тестирования участники обычно бывают довольны, - рассказывает Татьяна. - Им приятно чувствовать себе экспертами; обычно люди просят, чтобы мы приглашали их и в следующий раз".

Юрий Романов и Михаил Ваннах не раз писали на страницах "КТ" о квантовых свойствах человеческого сознания: в результате измерения его состояние может измениться. Кажется, юзабилити-специалисты об этом прекрасно осведомлены…

Автор: Сергей Голубицкий

Отправляем в турсун-заде железные мотивы и сосредотачиваемся на мягком материале, ибо скопилось его непристойное множество. Дабы не мусолить разношерстые софтины по отдельности, решил объединить сегодня несколько программ тематически - разыграем сценку "Поход в горы". Вернее, тут и разыгрывать нечего: всю прошлую неделю ежедневно оказывался в ситуации, когда приходилось быстро решать хоть и основополагающие, но элементарные задачи - дефрагментировать диск перед созданием имиджа, получить дистанционный доступ к компьютерам родственников, протестировать стремную программу в виртуальной машине…

О программах, способных выполнять с той или иной долей блеска описанные ситуации, я рассказывал в "Голубятнях" тыщу раз, выделяя то одно, то другое достоинство фаворита дня. Оказалось, однако, что в "фаворитизме дня" кроется жуткая трагедия, способная в критичный момент довести до отчаяния. Поясню ситуацию: одно дело - вальяжно и расслабленно тестировать на досуге ту или иную программулину, совсем другое - в авральном порядке быстро и четко выбрать оптимальный вариант, способный эффективно решить проблему. И здесь оказывается, что все эти "фавориты дня" в экстренной ситуации - тот самый "поход в горы" - начинают трещать по швам: либо не справляются с поставленной конкретной задачей, либо неподъемной своей учебной курвой загоняют в тупик, доводя до сенильного не по годам тремора.

Всю неделю ловил себя на мысли, что приходится отправлять былых "фаворитов дня" в мусорную корзину и браться за поиск новых кандидатов, предоставляющих надежное, быстрое, простое и эффективное решение. Обращаю внимание читателей, что речь идет не о традиционных для "Голубятен" acid tests - кислотных тестах, при которых с софта сгоняется семь потов, а именно о "походе в горы" - проверке функциональной эффективности программ в ситуациях, когда не ставится задача побить мировой рекорд, а всего лишь - надежно, быстро и просто решить банальную задачу. Согласитесь, странно наблюдать, как победители кислотных тестов потешно простоволосятся в, казалось бы, гораздо более приземленных ситуациях.