Как разработать методику оценки чего либо

Как разработать методику оценки чего либо

Ну это бывает видно наглядно (как правило).

Была система, она работала, есть не просила. Вы выделили какие-то
важные ее параметры, которые вы хотите улучшить. Занимаетесь
исследованием получаете какую-то модель этой системы, отражающей
связь важных параметров с другими параметрами системы и/или с
параметрами окружающей среды. На основе полученной модели, вы
говорите, вот нужно делать то-то и то-то, тогда нужные параметры
улучшаться (какие-то при этом ухудшатся, в жизни иначе не бывает,
но они для вас могут быть не очень существенными), иными словами
предлагаете методику на базе разработанной вами модели. Далее
берете реальные объекты и пробуете на них свою методику, и
смотрите улучшились важные параметры, как вы предпологали, и
не ухудшились при этом другие параметры настолько, что система в
таком виде просто никуда не годится или на работает вообще.
Отсюда и поймете каковы результаты.

Судя по тому какие результаты дадут применение методики,
насколько улучшаться нужные вам параметры объекта, и
насколько ухудшаться другие важные параметры объекта
вы легко оцените эффективность предложенной методики.

Пусть текущие параметры P1. Pn системы S имеют значения:
X1. Xn. После использования методики они приняли значения:
Y1. Yn. Причем, для любого i : Xi > 0, Yi > 0.

Имеется также коэффициенты важности параметров
и обозначены как A1. An. Причем, для любого i :
0 1, то общее улучшение,
если E

Интересно конечно ли число методик или нет?

Возможно ли из общего множества параметров системы выбрать один или совокупность нескольких, увеличение которых даст наибольшее улучшение качества системы по сравнению с улучшением других параметров, и может ли при этом происходить оценка затрат на улучшение этих параметров (материальные, временные (когда со временем общая эффективность от улучшения определенного параметра снижается))?

Источник

Оценка. Рассчитать и уложиться

Предсказуемость сроков выполнения играет важную роль в разработке IT-проектов. И в связи с высокой сложностью процессов оценка задач является непростой проблемой, у которой нет явного алгоритма или простого плана. Усугубляется это тем, что в процессе общения об оценках бизнес, управление проектами и разработка могут говорить на разных языках, не понимать и не хотеть понимать проблемы и ценности друг друга. В результате получаются «отписки», на которые тратятся усилия, а необходимого эффекта они не приносят.

Статья будет полезна разработчикам, которые хотят улучшить и сделать более комфортным для себя процесс оценки. В ней поделюсь наработанным подходом, который позволяет повысить взаимопонимание с другими подразделениями, а также снизить уровень собственных усилий для оценки. Разберем зачем нужны оценки, как оценивать большие задачи и декомпозированные подзадачи. И, самое главное, что делать, чтобы в эти оценки попасть.

Видеоверсия выступления доступна по ссылке.

Ну а теперь к делу.

Зачем давать оценки

В жизни каждого разработчика наступает тот неприятный момент, когда к нам приходят «они» и требуют: «когда будет готово?». «Они» — это менеджеры, продакты, тимлиды, начальники… Вопрос, а зачем это «им»? Что «они» будут с этим делать? Если мы это поймём, то сможем давать им ровно то, что им нужно, и экономить свое время. Вариантов несколько, и вот основные из них.

Давать их или нет — дело личное, но вот аргументы за.

Цель оценки

Бесполезно угадывать, сколько времени займет задача. Вы не сможете точно угадать, а если и сможете — не получится достоверно об этом сказать до тех пор, пока ее не сделаете: вот я угадал или не угадал. А на этом этапе оценка уже никого не интересует.

Итак, оценка — это не попытка угадать, сколько займет задача. Оценка — это договоренность между заказчиком и исполнителем о рамках и (возможно) способе выполнения задачи.

Обычно у адекватного бизнеса нет задачи задавить в конкретные сроки, бизнесу нужна предсказуемость и ограничение рисков. Время характеризует не скорость работы программиста, а количество работы, которое он в задачу вкладывает. А также можно «передать привет» коллеге: если я получаю задачу с неадекватной оценкой, это повод мне подумать, а точно ли наши способы совпадают? Может, он увидел более легкий способ решения? А может наоборот, не заметил чего-то большого? В любом случае повод сверить часы.

Процесс оценки

Основа процесса оценки — увидеть стоимость бизнес-задачи, а также основные риски задачи и объем рутины. И затем оценить их, заключив в рамки: точно неизвестно, какое оно, но оно точно больше X и меньше Y. И конечно, оцениваем с той точностью, с которой нужно (потому что точная оценка дорогая, а мозг ленивый).

Порядок выполнения оценки эпика

Схема рождается из того, что любую задачу можно сделать за любое количество времени. Утверждение утрировано, конечно, но в целом отражает суть. Например, ко мне приходит заказчик и говорит: «Я хочу facebook. Когда будет готово?» Минимальное время решения такой задачи, которое мне удалось придумать, — 15 минут. Захожу на facebook, делаю скриншот, верстаю страницу с картинкой скриншота, кладу на свой сервер. Условиям задачи удовлетворяет. Можно даже улучшить реализацию: возьмём не картинку, а сделаем iframe с facebook (правда, как я и предполагал, в facebook уже позаботились об этом). Так как временнАя оценка определяет способ выполнения задачи, можно сократить время на выполнение любой задачи в 2-3 раза (бывает, что и в 5 раз). Забавно, что этот эмпирический закон постоянно получается проверять на практике.

Процесс оценки конкретной задачи

Хорошо, эпик декомпозировали. А как оценивать размер конкретной задачи?

Здесь минимум — минимальное возможная длительность выполнения задачи в предположении, что всё происходит наилучшим или наиболее удачным образом, максимум — максимально возможная длительность выполнения задачи в предположении, что всё происходит наихудшим или наименее удачным образом (исключая крупные катастрофы), реализм — длительность выполнения задачи в предположении, что всё происходит так, как бывает чаще всего (как обычно).
Тогда итог считается как:

Коэффициенты 4 и 6 взяты, как я понимаю, из предположения, что в общем случае вероятность риска распределена нормально, и хвосты (min/max) равновероятны.

Процесс попадания в оценки

Дать оценку — полдела. Самое ценное — в эту оценку попасть. И процесс выполнения задачи — активный процесс, от участия в котором итоговый результат зависит больше, чем от удачно угаданной оценки в самом начале. И похожего взгляда придерживаются в совсем других областях. Видел немало случаев, когда после дачи оценки разработчик занимает пассивную позицию «ну куда теперь деваться — будь что будет», складывает лапки и плывёт по течению. А самое время, как раз — действовать.

Полезные техники при попадании:

Бонус

И на закуску, есть связанный с оценками задач эффект выпрямления сроков. Подробнее он описан, например, здесь, а потому не буду повторяться. В применении к оценкам он имеет следствие, что нужно оценивать задачи и следить за попаданием, если нам важно завершить к какому-то времени. Даже если задача мелкая, а времени до ее сдачи много (как у ранее упомянутого разработчика, заваленного работой, который не любил давать оценок). А если мы не представляем точно, какой есть запас (и руководствуемся, что он большой, и «государство не обеднеет») — получается неконтролируемое превышение сроков. И уже неважно, какой буфер заложили: 2x, 5x, 100x — если им не управлять, он все равно весь будет съеден.

Заключение

С помощью подобного подхода разработчики могут упорядочить и упростить процесс оценок. И сил тратиться будет меньше, и стресс снизится, и итоговый результат будет лучше. А также сможем преподносить меньше неприятных сюрпризов «им», и тогда обнаружим, что «они» стали с «нами» говорить на одном языке.

Источник

Разработка методики выполнения измерений

Разработка методик выполнения измерений (МВИ) необходима в тех случаях, когда технология выполнения замеров достаточно сложна и не может быть отражена в эксплуатационной документации на существующее СИ, например, при наличии специальных приемов и методов работы. Так, замеры геометрии лопаток турбомашин хоть и производятся обычными мерительными инструментами, но вследствие сложности конфигурации в некоторых случаях требуют специальной оснастки, порядок применения которой оговаривается специализированной МВИ в виде пооперационной инструкции индивидуальной на каждое изделие. Создание новых методик необходимо и тогда, когда измерения требует применения технически сложных СИ, создания особых условий, использования специальных методик обработки данных и т.д.

Разработка МВИ по сути является разновидностью проектно-исследовательских работ, сходна с ними как в части организации, так и по структуре и начинается с проработки и утверждения технического задания.

Проект технического задания (ТЗ) может создаваться и заказчиком при условии достаточной его компетентности, и исполнителем, но на практике итоговый продукт чаще всего является результатом их совместной деятельности. В техзадании должно быть раскрыто назначение будущей МВИ с учетом возможности ее использования в сфере гос. регулирования, перечислены измеряемые параметры, пределы и параметры точности их измерения, приведена характеристика условий измерения, в том числе особых, способных повлиять на процесс (параметры внешней среды, сопутствующие факторы в виде шума, содержания в воздухе каких-либо веществ, освещенности, положения объекта измерения в пространстве и т. д.). В ТЗ уточняется форма отображения получаемой информации и при необходимости принцип фиксирования результатов измерений и сопутствующих данных, требуемая производительность, весо-габаритные характеристики планируемых к применению СИ и другие необходимые критерии.

К примеру, при разработке технологии диагностирования технического состояния судовых двигателей потребовалась методика измерения крутящего момента на гребном валу во всем эксплуатационном диапазоне оборотов от 120 до 3000 об/мин для различных марок двигателей. Конечной целью разработки данной МВИ являлось выявление фактической зависимости выдаваемой мощности от частоты вращения с погрешностью не более 2,5%. При этом исключался демонтаж любых элементов главной силовой установки с целью введения датчиков в силовую кинематическую цепь. Измерения предполагалось выполнять в ходовом режиме, в навигационный период, поэтому требовались и ограничения по времени, затрачиваемому на предварительную подготовку к испытаниям от 40 до 150 мин, в зависимости от типа судна. Условия измерения – снятие параметров на месте, в условиях вибрации, повышенной влажности, неблагоприятного температурного режима, при ограниченном доступе к вращающимся частям силовой установки, как по конструктивным причинам, так и по соображениям ТБ. Кроме того, требовалось обеспечить выполнение работ 1-2 операторами при разъездном режиме обслуживания флота. Вследствие этого ограничивались вес и габариты оборудования, а также отдельным пунктом оговаривалось автономное его функционирование. Именно перечисленная информация вкупе с некоторыми дополнительными требованиями и была отражена в окончательном варианте ТЗ.

Разработка МВИ продолжается формированием первоначальной информационной базы, в которую входит комплекс исходных данных, результаты экономического, нормативно-правового, технологического и конструкторского анализа проблемы, патентного поиска и т.д. На этом этапе производится предварительный подбор близких по назначению или аналогичных МВИ из числа уже известных, с целью возможного использования отдельных элементов или комбинации их, стандартных СИ и оснастки, вычислительной техники, а при необходимости разрабатываются и ТЗ на вновь создаваемое уникальное оборудование. Здесь же уточняются сопутствующие условия: квалификация и численность персонала, условия соблюдения техники безопасности и безопасности окружающей среды, совместимость будущей МВИ с основным производственным процессом (при наличии такового) и т.д. Окончательным результатом данного этапа является выбор основной концепции будущей методики и первичная ее проработка.

В рассмотренном примере формирование информационной базы начато поиском данных об имеющихся МВИ, касающихся измерений крутящего момента. После механического перебора вариантов были исключены гидродинамические методы, как требующие крупногабаритной оснастки, отброшены технологии, основанные на измерении смещения полумуфт в процессе нагружения с последующим расчетом искомой величины по известной жесткости соединения и коэффициенту податливости ввиду низкой точности. Прорабатывался также вариант с использованием оптико-механического принципа, который был забракован по причине неработоспособности в условиях вибрации. В конечном итоге был предварительно выбран принцип тензометрирования, заключающийся в измерении относительной деформации нагруженного участка гребного вала известного сечения с известными же механическими характеристиками конструкционного материала.

По обозначенному принципу были проанализированы несколько методов измерения, как с точки зрения условий ТЗ, так и по экономическим показателям. В конечном итоге с учетом малой трудоемкости монтажа, компактности применяемой (причем, уже разработанной и апробированной в других областях) аппаратуры и ПО, относительно невысокой стоимости оборудования и нечувствительности его к вибрации было принято окончательное решение об использовании тензорезистивного метода. Метод основан на определении силы тока, возникающего вследствие разбалансировки измерительного моста, собранного на базе 4-х резисторов. Разбалансировка же, в свою очередь, возникает по причине изменения характеристик наклеенных на вал датчиков при деформации их совместно с материалом основы.

Предложенный метод, помимо перечисленных выше достоинств, характеризуется относительно высокой точностью, наглядностью и простотой дальнейшей обработки получаемой информации, что также послужило основанием для данного выбора. После предварительных согласований с заказчиком и проведения прикидочных измерений на макетно-демонстрационных образцах предложенная концепция была утверждена в качестве единственного направления для дальнейшей проработки, что и явилось завершением данного этапа.

Следующий этап создния МВИ является основным и включает исследовательскую, опытно-экспериментальную и конструкторскую деятельность. Здесь, как правило, отрабатываются несколько алгоритмов решения в рамках обозначенной концепции, отбираются в целях дальнейшего использования уже известные технологии, или их элементы вместе с материально-техническим обеспечением (СИ утвержденного типа, оснастка, расходные материалы и т.д.). Сегодня практически невозможно представить абсолютно новую методику, все они, так или иначе, основаны на уже имеющихся технологиях, а чаще всего являются продуктом их комбинирования и развития. Процесс разработки МВИ детально проанализирован в рекомендациях МИ 1967-89 «ГСИ. Выбор методов и средств измерений при разработке методик выполнения измерений. Общие положения». Здесь же приводится и общий алгоритм исследований, подробно, на основе практического опыта расписана оптимальная последовательность выполнения работ, которой и следует придерживаться.

Разработка МВИ, обозначенная в качестве примера, производилась в приблизительном соответствии с упомянутыми рекомендациями. Были найдены уже используемые промышленные образцы оборудования, предназначенные для измерения статических напряжений, после чего на стенде в процессе серии статических нагружений элементов судовых валопроводов была подтверждена принципиальная возможность выполнения измерений с заданными параметрами точности.

Задача разработчиков сводится не только к обеспечению технических аспектов процесса, но и к нахождению разумного компромисса между эффективностью создаваемой методики и её экономическими показателями. При условии выполнения требований ТЗ в качестве окончательного варианта выбирается тот, который обеспечивает наивысшую эффективность на единицу произведенных затрат.

Так, при создании контрольно-управляющих модулей, осуществляющих регулирование процессов тепловыделения реакторов типа ВВЭР потребовалась разработка многих МВИ, предназначенных для снятия текущих параметров реакции во всем объеме активной зоны. Задача усложнялась наличием более высокой температуры и уровня радиоактивности, чем в предшествующих аналогах РБМК, что исключало применение датчиков уже отработанной конструкции. С другой стороны, использование бесконтактных пирометров с принудительным охлаждением оптического чувствительного элемента жидким азотом хоть и удовлетворяло требованиям ТЗ, но потребовало бы неприемлемых экономических вложений как вследствие усложнения конструкции реактора, так и за счет введения дополнительных мощностей предназначенных для получения охлаждающего агента. Задача была решена путем комбинации в единой технологии нескольких МВИ, основанных на качественно разных принципах и определении части искомых параметров расчетным путем по результатам косвенных замеров. Был изменен и сам принцип управления перемещением тепловыделяющих элементов. При этом появилась возможность несколько снизить требования в части точности. По результатам последующих работ в качестве одного из методов исследования объемного температурного поля был выбран спектральный анализ, что в конечном итоге и обеспечило получение и необходимой точности, и требуемого быстродействия системы при весьма умеренных финансовых затратах.

Последовательность принятия конкретных решений подробно описана в многочисленных методических источниках. В частности, примером такого практически востребованного документа могут служить рекомендации МИ 2301-2000 «ГСИ. Обеспечение эффективности измерений при управлении технологическими процессами. Методы и способы повышения точности измерений”.

Разработка МВИ нового вида зачастую влечет за собой необходимость создания и новых средств измерения, и оснастки, и расходных материалов. В результате лабораторные исследования, опытно-экспериментальные и конструкторские работы таже выполняются на рассматриваемом этапе. Он заканчивается после доведения будущей МВИ до состояния принципиальной работоспособности и окончательных согласований с заказчиком по результатам испытаний и при необходимости утверждения новых типов используемых СИ.

Так, в нашем примере по итогам экспериментов перед разработчиками оборудования была поставлена задача на адаптацию имеющихся СИ к контролю деформации во вращающихся элементах конструкций по вновь создаваемой МВИ. Основная трудность состояла в обеспечении передачи информации с блоков, закрепленных на валу, в преобразовательные модули, а также достижении приемлемой механической прочности в условиях действия центробежных сил. В итоге проведенных работ соисполнителями были доработаны и перекомпонованы модули, модернизировано ПО, а также предложено несколько вариантов решения задачи по трансляции данных: передача на закрепленные вблизи приемники посредством радиоволн, с использованием инфракрасного излучения, а также сохранение данных в оперативной памяти дополнительного блока, с последующей их обработкой в режиме оффлайн. Несмотря на некоторые неудобства, связанные с использованием данного режима был выбран именно он, главным образом по причине отсутствия помех, вносивших значительные погрешности в амплитудно-частотную характеристику электронного сигнала.

Разработка МВИ в дальнейшем сводилась к исследованию способов монтажа тензодатчиков и электронных блоков на валу, методов выбора контролируемых сечений валов, созданию универсального расчетного алгоритма для определения режимов работы двигателя во время проведения замеров, а также методик обработки данных для анализа и оформления отчетной документации по проведению испытаний. Потребовалось также использование дополнительного электронного тахометра, т.к. штатный прибор не удовлетворял требованиям в части точности. Вновь разработанная МВИ была апробирована и доведена до требуемых параметров уже с использованием нового оборудования и в заключение представлена заказчику. После выдачи им положительного заключения этап был завершен проверкой фактического ресурса работы электроники «на отказ».

На завершающих этапах отрабатываются проверочные технологии в части оперативного обеспечения точности измерений, выбираются из числа готовых, либо создаются заново технологические алгоритмы и тех. средства поверки СИ. В рассматриваемом примере в качестве проверочной была выбрана уже существующая технология, основанная на измерении параметров рабочего процесса в каждом цилиндре двигателя, с последующим пересчетом выходной характеристики по известному механическому кпд, определяемому по эксплуатационной документации. Разработки специальных СИ в данном случае не потребовалось. По результатам работы был оформлен итоговый документ состоящий из введения и нескольких разделов.

Содержание типовой МВИ:

Проект документа, регламентирующего вновь разработанную МВИ, поступает на нормативно-правовую, техническую, экологическую и т.д. экспертизу. По результатам ее проведения выполняются (при необходимости) соответствующие доработки, и в заключение следует стандартизация, аттестация и окончательное утверждение.

Источник

Методология, методика, методисты. Что стоит за популярными терминами и как это относится к VR-технологиям?

Термин «методология» в современной образовательной среде становится очень распространенным. Особенно это касается сферы Edtech. Если обратиться к тем, кто называет себя методологами, и спросить, почему они, например, не методисты или не педагогические дизайнеры, то ответы будут сильно разниться. Центр НТИ ДВФУ по VR/AR решил расставить термины по местам.

Методология – это учение об организации деятельности. В узком смысле термин «методология» относится только к научным исследованиям, в то время как в широком понимании она охватывает любую продуктивную деятельность, т.к. всегда нацелена на получение объективно нового или субъективно нового результата [Новиков, Новиков, 2008].

Методология существует и активно развивается в игровой, учебной, трудовой и других видах деятельности. Они могут отличаться друг от друга содержанием, принципами, методами и подходами, но тем не менее сводятся к одной цели – упорядочить деятельность.

Поэтому, если речь идет о педагогической составляющей образовательного контента, методология предлагает структуру учебной деятельности, формы и условия ее организации, требования к постановке учебной задачи и способы ее решения, регламентирует роль средств, способов и методов, учебных действий и операций в структуре этих учебных действий [Зимняя, 2004]. Другими словами, методология – это существующий каркас, которым создатели приложений пользуются, исходя из целей.

Образовательные решения способствуют формированию продукта (результата) учебной деятельности и обучения в целом, для этого разработчики образовательного контента должны сосредоточится на формах, средствах и методах обучения и воспитания. Здесь на помощь приходят методика обучения и воспитания, а также педагогический дизайн. Остановимся подробнее на этих терминах.

Методика в общем смысле – это совокупность методов и приемов практического выполнения чего-либо.

Методика обучения – это совокупность упорядоченных знаний о принципах, содержании, методах, средствах и формах организации учебно-воспитательного процесса по отдельным учебным дисциплинам, обеспечивающих решение поставленных задач [Дьяченко, Кандыбович, 1998].

Методистами называют специалистов в преподавании предметов, которые разрабатывают способы преподавания дисциплины и организации учебно-воспитательного процесса.

Педагогический дизайн – это реализация принципов обучения и преподавания в виде планов для учебных материалов, мероприятий, информационных ресурсов и системы оценивания [Smith & Ragan, 2004].

Соответственно, педагогический дизайн может входить в обязанности методиста, который организует учебный процесс в образовательном учреждении, или в задачи специалиста, который создает учебные материалы и не участвует напрямую в организации учебного процесса. Ключевыми факторами здесь являются принципы, формы, методы и средства обучения, которые методика предлагает, а педагогический дизайн реализует в каждом конкретном случае.

Педагогический дизайн VR-разработок или методика создания образовательного контента в VR – одна из наименее исследованных и сформированных областей педагогической науки. Первые образовательные платформы и приложения были направлены на высшее образование или подготовку кадров, т.е. образование взрослых. Позднее обучающие VR-приложения для школ создавались обособленно от образования, вероятно, на основе допущений о том, что должен знать ученик и уметь учитель. Это привело к рассогласованию между тем, что создают разработчики, и тем, что ожидают получить учителя. С другой стороны, сами учителя не часто проявляют интерес к новым технологиям, что становится камнем преткновения для внедрения VR в образовательный процесс. Эффективность лежит не только в самом продукте, но и в навыках, и в формате его использования, а такое понимание у российского учителя сегодня сформировано плохо.

Объединенная работа опытных методистов и талантливых разработчиков уже сейчас дает плодотворные результаты. На рынке постепенно стали появляться приложения, материал которых соотносится с программами школ. Теперь учителя после своего первого знакомства с виртуальной реальностью не просто демонстрируют заинтересованность, но и формируют представление о том, где и когда они могли бы эту технологию применить. Тем не менее вопрос интеграции обучающего VR-контента в школьное образование до сих пор остается открытым.

На данный момент не существует шаблонной методики, которую можно было бы перенести в готовое VR-приложение. Любая современная методика носит экспериментальный характер и формируется непосредственно в процессе разработки программ. Стоит непростая задача объединить видение разработчиков о том, как достигнуть необходимого уровня интерактивности, удобства использования, требования государственных образовательных стандартов и ожидания учителей. Не все методы обучения остаются одинаково эффективными при переносе их в виртуальную реальность, поэтому при педагогическом проектировании следует учитывать те приемы, способы и принципы, которые, во-первых, не противоречат возможностям виртуальной среды, а во-вторых, усиливают ее слабые стороны.

Проведем параллели между упомянутыми понятиями. Методология дает нам понимание того, как организовывается учебная деятельность. Методика обеспечивает конкретные знания о принципах, содержании, методах, средствах и формах организации учебного процесса, а педагогический дизайн позволяет реализовывать знания на практике и в разработке учебных материалов, в частности, VR-приложений.

Источник