Страница 1 из 1

mbt - бесплатный инструмент для model-based testing

СообщениеДобавлено: 31 янв 2008, 00:28
YuriY
Здесь http://mbt.tigris.org/ можно ознакомиться с принципом работы бесплатного инструмента для реализации model-based testing, а также скачать его и необходимый для построения входных данных редактор (тоже бесплатный).
Кроме того, на сайте http://www.tigris.org можно найти массу полезных бесплатных продуктов.

Для начального ознакомления с темой MBT рекомендую вот эту статью родоначальника данного течения в тестировании:
http://www.geocities.com/harry_robinson_testing/graph_theory.htm

Жду ваших комментариев после ознакомления и интересных ссылок на статьи и т.п.

СообщениеДобавлено: 01 фев 2008, 02:29
arvex
Спасибо за статью. Очень интересно. Рекомендую всем ознакомиться.

Теперь о моем впечатлении о прочитанном...

Скажу сразу, что эти впечатления теоретические. О своих практических достижениях в этом направлении опишу позже, когда реально попробую.

Поскольку я с автоматизированным тестированием хоть и не профи, но и не новичек, то при перечитке этих статей я обдумывал подходы к практическому применению MBT.

В статье о MBT описан взгляд на приложение, как на граф, который имеет свои узлы(состояния приложения) и дуги(действия, которые необходимо выполнить, чтобы перейти из одного состояния в другое) + методы обхода графа, преследуя различные задачи: обойти граф по минимальному пути; обойти все дуги и узлы графа; обойти только те дуги, вес которых не превышает определенного значения и т.д.

Все эти методы обхода графа реализованы в инструменте mbt.tigris.org , а сам граф должен быть представлен в формате GraphML.

На сколько я понял инструмент mbt.tigris.org необходим только для обхода графа(в нем реализованы все описанные в статье методы) и он НЕ является средством тестирования приложений.
Но в нем реализована гибкая интеграция со средствами автоматизированного тестирования приложений.

В результате мы имеем связку:
- средство автоматизированного тестирования приложений
- mbt.tigris.org
- граф, описывающий модель приложения в формате .graphml

Как видно из примеров тестов, реализованных с использованием средства автоматизированного тестирования и mbt.tigris.org (http://mbt.tigris.org/howto_use_dll_wrapper.html), учитывая выше описанную связку получаем следующее функциональное взаимодействие:

Средство автоматизированного тестирования вызывает mbt.tigris.org и заставляет его проходить по графу, используя необходимый метод обхода и возвращать названия дуг и узлов, через которые осуществляется обход. Средство автоматизированного тестирования получает названия дуг и узлов и соответственно выполняет необходимые действия с тестовым приложением и контролирует его состояния.
Это в кратце :)

О своих практических применениях такого подхода буду отписывать позже.

Я думаю эту тему стоит развивать...

СообщениеДобавлено: 01 фев 2008, 12:41
lesha
Посмотрел бегло статью. Очень интересно. Попробую разобраться и тоже применить хоть как-то на реальных задачах.

Насколько я понял из http://mbt.tigris.org/howto_use_dll_wrapper.html
есть некоторая библиотека mbt.dll которая реализует механизм прохождения по вершинам и т.п. Подключив его к любимому средству тетсирования, можно получить сразу же набор тестов (предварительно реализовав нужные action).
В общем это уже интересно в плане практического применения. Буду копать)

СообщениеДобавлено: 01 фев 2008, 15:06
YuriY
Господа, в процессе копания попробуйте, пожалуйста, разобраться с XML форматом графа). Т.е. как можно сформировать модель без работы в графическом редакторе.

СообщениеДобавлено: 03 фев 2008, 19:36
YuriY
Несколько фраз:
1.
arvex писал(а):Все эти методы обхода графа реализованы в инструменте mbt.tigris.org , а сам граф должен быть представлен в формате GraphML.

Насколько я высмотрел, в инструменте mbt реализованы не все нюансы генерации тестов, которые описаны Робинсоном в его статье.
Например, нет возможности, строить биграф для покрытия пар ребер, нет возможности указывать приоритетность (или есть?))) и др.
Вот бы сделать свою тулу, чтоб всё умела, да?)

2. На счет графа. На [url]mbt.tigris.org[/url] есть ссылка, которую я раньше не увидел. Поэтому, чтобы другие не допустили такую же ошибку, вот она: http://graphml.graphdrawing.org.

3. В общем, думаю, что после начальных исследований наберется впечатлений на целое заседание клуба)).

СообщениеДобавлено: 05 фев 2008, 13:59
arvex
Кстати на сайте http://mbt.tigris.org/ произошли изменения и в документации и в самом билде mbt.jar. Поэтому и на сайте появились битые ссылки.
В самом mbt убрали функции dynamic и static, а вместо этого появились online и offline.
Пофиксили несколько ограничений с title-ами дуг и узлов и др. Поэтому предлагаю искать недостатки именно в последней версии!

После этих фиксов появились exception-ы в jar файле.
Вчера мы с товарищем Кристианом фиксили эти баги, он обещал перезалить файл mbt.jar на mbt.tigris.org.

Если еще не перезалил, то пишите мне я могу выслать jar файл с последними фиксами, без exception-ов.

Кстати, если есть конкретные какие-то предложения по недоработкам или недостаткам в алгоритмах, то пишите, попросим Кристиана и вместе реализуем.

СообщениеДобавлено: 10 фев 2008, 03:17
YuriY
arvex писал(а):Кстати, если есть конкретные какие-то предложения по недоработкам или недостаткам в алгоритмах, то пишите, попросим Кристиана и вместе реализуем.

Робинсон в своей статье упоминает такие вещи:
- приоритеты для ребер графа (чтобы в случае, когда алгоритму все равно, какое из двух ребер выбрать, он шел по более приоритетному).
- возможность указать пары ребер (а в идеале - не только пары, но и тройки, например), которые обязательно должны встретиться в сгенерированных тестах - программа должна строить биграф.
- при генерации тестов можно ограничивать максимальную длину тестов (или указывать допустимый диапазон длин - это будет лучше) и менять это ограничение для получения разных групп кейсов (в частности, с возвратами и без).
- ну и, по-прежнему, хочется иметь возможность составлять модель в виде таблицы).

СообщениеДобавлено: 26 мар 2008, 15:57
lesha
Накопал недавно интересную (с практической точки зрения) статью по MBT: http://www.thalion.kiev.ua/idx.php/30/348/article/

Мне кажется на нее можно посмотреть, чтобы представить, как такой подход может быть реализован на практике...

СообщениеДобавлено: 26 мар 2008, 23:14
YuriY
Я тоже читал эту статью)).
Если не ошибаюсь, на it4business.ru (точнее, в библиотеке software-testing.ru) нашел ее.

Познавательно. Становится понятно, что если браться за реализацию model-based тестирования в рамках всей тестируемой системы, то это надолго), и для начала нужно очень тщательно все продумать и запланировать. В принципе, можно внедрять постепенно, покомпонентно.

Подход к организации логических частей автотеста, который описан в статье, в принципе, подходит, рекомендуется и применяется и в "простом" автоматизированном тестировании.

В частности, и я стараюсь его реализовать с использованием TestComplete.
Хочу в будущем задокументировать реализованный мною подход, чтобы с ним могли ознакомиться и покритиковать (т.е. предложить пути оптимизации) члены клуба:).

Клуб "Успех Вместе" для Вас. 1-е Место в ТОП 100 2014г. в

СообщениеДобавлено: 30 авг 2014, 03:53
HectorEl
Для Вас Клуб Бизнеса "Успех Вместе", Занявший в 2014 г. 1-е Место в Мире!Здесь по 1500 человек на Конференциях.Здесь Дарят нам Тренинги ценой 1000 $.Только Здесь Сенсационная Карусельная Робото - раскрутка Любого Бизнес Направления, Любого МЛМ Проекта. Клуб, в котором есть место под Солнцем Любому Новичку в интернет Бизнесе!
Ведет Миллионер Андрей Шауро. N6 в ТОП 100 Мира.
http://www.1541.ru/cms/robot-dlya-priglasheniy.php

Клуб "Успех Вместе" для Вас. 1-е Место в ТОП 100 2014г. в

СообщениеДобавлено: 30 авг 2014, 03:54
HectorEl
Для Вас Клуб Бизнеса "Успех Вместе", Занявший в 2014 г. 1-е Место в Мире!Здесь по 1500 человек на Конференциях.Здесь Дарят нам Тренинги ценой 1000 $.Только Здесь Сенсационная Карусельная Робото - раскрутка Любого Бизнес Направления, Любого МЛМ Проекта. Клуб, в котором есть место под Солнцем Любому Новичку в интернет Бизнесе!
Ведет Миллионер Андрей Шауро. N6 в ТОП 100 Мира.
http://www.1541.ru/cms/robot-dlya-priglasheniy.php

Клуб "Успех Вместе" для Вас. 1-е Место в ТОП 100 2014г. в

СообщениеДобавлено: 30 авг 2014, 03:55
HectorEl
Для Вас Клуб Бизнеса "Успех Вместе", Занявший в 2014 г. 1-е Место в Мире!Здесь по 1500 человек на Конференциях.Здесь Дарят нам Тренинги ценой 1000 $.Только Здесь Сенсационная Карусельная Робото - раскрутка Любого Бизнес Направления, Любого МЛМ Проекта. Клуб, в котором есть место под Солнцем Любому Новичку в интернет Бизнесе!
Ведет Миллионер Андрей Шауро. N6 в ТОП 100 Мира.
http://www.1541.ru/cms/robot-dlya-priglasheniy.php

Клуб "Успех Вместе" для Вас. 1-е Место в ТОП 100 2014г. в

СообщениеДобавлено: 30 авг 2014, 03:59
HectorEl
Для Вас Клуб Бизнеса "Успех Вместе", Занявший в 2014 г. 1-е Место в Мире!Здесь по 1500 человек на Конференциях.Здесь Дарят нам Тренинги ценой 1000 $.Только Здесь Сенсационная Карусельная Робото - раскрутка Любого Бизнес Направления, Любого МЛМ Проекта. Клуб, в котором есть место под Солнцем Любому Новичку в интернет Бизнесе!
Ведет Миллионер Андрей Шауро. N6 в ТОП 100 Мира.
http://www.1541.ru/cms/robot-dlya-priglasheniy.php

Клуб "Успех Вместе" для Вас. 1-е Место в ТОП 100 2014г. в

СообщениеДобавлено: 30 авг 2014, 03:59
HectorEl
Для Вас Клуб Бизнеса "Успех Вместе", Занявший в 2014 г. 1-е Место в Мире!Здесь по 1500 человек на Конференциях.Здесь Дарят нам Тренинги ценой 1000 $.Только Здесь Сенсационная Карусельная Робото - раскрутка Любого Бизнес Направления, Любого МЛМ Проекта. Клуб, в котором есть место под Солнцем Любому Новичку в интернет Бизнесе!
Ведет Миллионер Андрей Шауро. N6 в ТОП 100 Мира.
http://www.1541.ru/cms/robot-dlya-priglasheniy.php

Клуб "Успех Вместе" для Вас. 1-е Место в ТОП 100 2014г. в

СообщениеДобавлено: 30 авг 2014, 04:00
HectorEl
Для Вас Клуб Бизнеса "Успех Вместе", Занявший в 2014 г. 1-е Место в Мире!Здесь по 1500 человек на Конференциях.Здесь Дарят нам Тренинги ценой 1000 $.Только Здесь Сенсационная Карусельная Робото - раскрутка Любого Бизнес Направления, Любого МЛМ Проекта. Клуб, в котором есть место под Солнцем Любому Новичку в интернет Бизнесе!
Ведет Миллионер Андрей Шауро. N6 в ТОП 100 Мира.
http://www.1541.ru/cms/robot-dlya-priglasheniy.php