Форум » » Strategic Test Suite » Ответить
Strategic Test Suite
immortal223: Strategic Test Suite site [quote]Strategic Test Suite consists of series of themed test suites designed to evaluate chess engine's long term understanding of strategical and positional concepts... We have had dozens of test suites, and a lot of them are tactical in nature. There has never been an ideal strategical test suite since the advent of Rybka. This tool is unique innovation in computer chess, more specifically in test suites department... since nobody has ever attempted to design the test suite like we do![/quote] Коллекция из 9 разнообразных наборов стратегических тестовых позиций для тестирования вашего движка. Каждый набор содержит по 100 позиций для решения, итого 900. Тематика наборов: Все позиции тщательно были проверены несколькими тестерами Рыбкой 3. Во всех позициях ключевой ход обязательно является сильнейшим продолжением (второй лучший уступает ему не менее +0.20 согласно оценке Рыбки) 1. Undermining / Подрыв This file consists of 100 selected Undermining/Removal of Guards/Pawn Weakening problems. / 100 позиций на тему подрыв/отвлечение защиты/создание пешечных слабостей 2. Open Files and Diagonals / Открытые линии и диагонали Consists of carefully selected 100 questionnaires on Open Files and Diagonals / 100 тщательно отобранных задач на заданную тему 3. Knight Outposts / Централизация коней Consists of carefully selected 100 questionairres on Knight OutPosts/Centralization/Repositioning / 100 тщательно отобранных задач на тему расположения коней/централизацию/перестановку 4. Square Vacancy / Свободные поля Consists of carefully selected 100 questionairres on Square Vacancy / 100 тщательно отобранных задач на тему свободных полей 5. Bishop vs Knight / Слон против Коня * When to offer the Bishop for trade with the Knight, and vice versa. * Tests your engine's understanding of superior minor pieces. * This test also evaluates your engine's ability to distinguish between superior knight, superior Bishop, doubled pawns, resultant pawn structure after the trade-off etc. / *Задания на тему, когда выгоднее менять коня на слона и наоборот *Тестирование движка на понимание превосходства малого количества фигур Оценка способности движка понимать превосходство коня, слона, умение отмечать силу и слабость сдвоенных пешек, структуру пешек после разменов и т.п. 6. Re-Capturing / Взятие фигур Consists of Carefully selected 100 puzzles on "Re-Capturing" / 100 отборных заданий на тему взятия фигур 7. Offer of Simplification / Упрощение 100 test positions on "Offer of Simplification" / 100 позиций на тему упрощения 8.Advancement of f/g/h pawns / Преимущество пешек f/g/h 100 test positions on "Advancement of f/g/h pawns" / 100 позиций на заданную тему 9. Advancement of a/b/c Pawns / Преимущество пешек a/b/c 100 test positions on "Advancement of a/b/c pawns" / 100 позиций на заданную тему На официальном сайте представлены позиции только в формате EPD и то разбросаны по разным страницам . Я же предлагаю вам скачать настоящий полноценный набор из позиций в форматах EPD (для решения рекомендую оболочку Shredder Classic или Arena), PGN и CBH (решение тестов во Fritz) Strategic Test Suite EPD+PGN+CBH [quote]Recommended Test time: Short time control: 10 seconds each move. Intermediate Time Control: 1 minute each move Long Time Control: 7 minutes each move.[/quote] Рекомендованное время на тестирование: Короткий контроль: 10 сек/ход Средний контроль: 1 мин/ход Длинный контроль: 7 мин/ход
Ответов - 40, стр:
1 2 All
Кевин: О-о-о, это дело! Как будет время - прогоню пару движков Возьму лучшие движки и прогоню по минуте. Или по 10 секунд... Посмотрим. Так что ждите результаты. Но начну только завтра...
unknow: immortal223 пишет: Все позиции тщательно были проверены несколькими тестерами Рыбкой 3. Во всех позициях ключевой ход обязательно является сильнейшим продолжением (второй лучший уступает ему не менее +0.20 согласно оценке Рыбки) Смущает только - заточишь оценку движка об этот набор - опять клон получится.
Кевин: Вообще, конечно, странно подстраивать позиции под оценку конкретного движка. Я думаю, что надо делать такие позиции, чтобы ход в них точно был сильнейшим, форсированным.
unknow: immortal223, спасибо! Dann Corbit, конечно могуч, нет слов.
Кевин: immortal223 , как лучше проводить мне тестирование: на равных условиях (все на одном ядре, без таблиц) или кто как может? Я думаю, что лучше на равных, чтобы тесты ликвидные были. Всё же тестов много, так что буду по 10 секунд проводить. Наконец-то очередная интересная работёнка, а то всё матчи да матчи
immortal223: Кевин пишет: на равных условиях (все на одном ядре Кевин пишет: по 10 секунд
immortal223: Ваня почти 100%-ные результаты показывает в первых двух тестах :)
Кевин: immortal223 пишет: Ваня почти 100%-ные результаты показывает в первых двух тестах :) В первом Рыбка 3 показала 98 из 100!
Кевин: Вот такие у меня будут параметры, одним словом. Результаты свои буду постить в теме о тактике и эндшпиле.
immortal223: Кевин Я с такими же смотрю :) У тебя за счёт более быстрого проца Рыба больше набрала
Кевин: У меня на одном ядре 120-160 кнс в зависимости от позиции. Но всё равно остальные будут играть на этом же i7, так что всё честно Я, кстати, чищу хэш-таблицы по завершении теста, когда перехожу на другой.
Behovodec: Кевин пишет: В первом Рыбка 3 показала 98 из 100! Это неудивительно, учитывая следующее: Все позиции тщательно были проверены несколькими тестерами Рыбкой 3. Во всех позициях ключевой ход обязательно является сильнейшим продолжением (второй лучший уступает ему не менее +0.20 согласно оценке Рыбки Получается, что решение каждой позиции — это и есть сильнейший ход Рыбки. Правда, странно, почему решено не 100 позиций из ста?
Кевин: Behovodec пишет: Правда, странно, почему решено не 100 позиций из ста? Это тестеры сделали, чтобы не было подозрительно, что все позиции решаются 100 - слишком уж!
Кевин: Начал публиковывать результаты тестирования стратегии. Результаты смотрим здесь: http://immortal223.borda.ru/?1-5-0-00000168-000-40-0
player: immortal223 пишет: Коллекция из 9 разнообразных наборов стратегических тестовых позиций для тестирования вашего движка. Каждый набор содержит по 100 позиций для решения, итого 900. А для людей есть сайты с такими тестами?
Кевин: player пишет: А для людей есть сайты с такими тестами? А зачем сайты? Есть набор позиций для людей. А если интересны именно эти, то можно и их использовать.
immortal223: player пишет: А для людей есть сайты с такими тестами? наш форум как бы имеет не совсем такую направленность с подобным вопросом Вам лучше обратиться на другой форум, я думаю.
player: immortal223 пишет: наш форум как бы имеет не совсем такую направленность с подобным вопросом Вам лучше обратиться на другой форум, я думаю. Это да. Просто я решил воспользоваться случаем и задать вопрос - а вдруг есть такой
immortal223: Кевин Это тестирование очень удобно проводить в Арене. Рассказываю как: 1) Устанавливаем в оболочку нужный движок (Движки --> Новый движок --> и т.д.) 2) Загружаем его (если нужно указываем в настройках необходимое кол-во ядер) 3) Переходим в меню Движки --> Автоматический анализ... 4) На вкладке Источник ставим переключатель на Список EPD/PGN файлов 5) Ниже загружаем по одному наши тестовые файлы (указываем путь) 6) Ещё ниже ставим галочку Позиции (EPD) --> Все позиции 7) Переходим на вкладку Движки. Выбираем Загруженные движки --> Движок 1 (т.е. уже раннее запущенный, настроенный на тестирование движок) 8) Ниже Уровень --> Использовать сек./ход выставляем нужное нам время (например, 10 секунд) 9) Переходим на вкладку Вывод. Ставим галочки/переключатели на Записать в файл протокола, Файл протокола --> Добавить, Полный вывод в файл отчёта (имена чтоб у них совпадали). 10) Возвращаемся на вкладку Источник, жмём Пуск и Минимизировать, чтоб свернуть окно программы в лоток и он там себе потихоньку анализировал. Ждём окончания работы тестов и в файле *.rep наблюдаем отчёты по каждому набору позиций! В файле с таким же именем и без расширения подробный вывод движка, включая все линии анализа. Просто (ну, может не совсем ) и удобно!
Кевин: immortal223 , что-то не совсем понял: можно ли как-то сделать, чтобы поставить на тестирование, уйти и придти через 8 часов, а нужные движки уже протестировались? То есть на очередь можно их ставить? Или сделать так, чтобы один движок решал все 9 тестов автоматически подряд, я прихожу через 2 часа и ставлю другой движок? Никогда в Арене не работал. Так, разве что интерфейс пару раз глянул, не понравился и забросил я её.
полная версия страницы