Как восстановить сетку шаблона после склейки нескольких кадров

Если большой шаблон рукописного шрифта не помещается в один кадр, его можно снять или отсканировать частями, а затем собрать в общее полотно. Главная задача — не просто совместить края изображений, а восстановить единую координатную сетку, по которой затем извлекаются ячейки. Ниже — порядок работы: как подготовить перекрытия, найти опорные точки, оценить стык и понять, когда склейку лучше переделать.

Разделение на кадры бывает удобным, если лист больше планшета сканера, камера не может снять всю страницу достаточно крупно или на одном изображении мелкие штрихи теряют детали. Каждая часть тогда получает больше пикселей на одну ячейку, но появляется новая проблема: локальные координаты фрагментов нужно преобразовать в координаты всего листа.

Склейка удачна, когда на соседних кадрах есть общая область с узнаваемыми деталями, лист оставался неподвижным, а масштаб и перспектива фрагментов близки. Если перекрытия нет, на стыке невозможно надёжно определить соответствие; если лист сдвинулся или изогнулся, одного общего поворота и масштаба может быть недостаточно.

Перед началом решите, что именно вы хотите сохранить: исходную фотографию для архива или рабочее изображение для извлечения ячеек. Для извлечения важнее геометрическая цельность сетки, чем незаметная граница между кадрами. Поэтому склейте фрагменты в плоское полотно и проверьте разметку до пакетной нарезки букв.

Сначала сохраните исходные файлы отдельно и работайте с копиями. Не пересохраняйте каждый кадр несколько раз с потерями: повторное сжатие может размыть тонкие линии, а агрессивная обработка контраста — изменить границы ячеек.

Для каждого снимка запишите имя файла и его место на листе: верхний левый, верхний правый, нижний левый и так далее. Это простая карта помогает не перепутать фрагменты, особенно если шаблон снят четырьмя или шестью частями. Отметьте направление верха страницы и не отражайте изображения по горизонтали: зеркальное преобразование меняет порядок ячеек и может быть незаметно по самой сетке.

До склейки выровняйте только очевидные различия экспозиции и баланса белого, если они мешают различать бумагу и штрихи. Не пытайтесь «улучшить» форму букв фильтрами. Геометрию и тон лучше проверять отдельно: коррекция цвета не исправит смещение сетки, а перспективное преобразование не вернёт исчезнувший штрих.

При съёмке оставляйте общую полосу соседних кадров. В неё должны попасть не только пустые поля, но и несколько узнаваемых элементов: пересечения линий, углы крупных ячеек, метки, а также характерные штрихи одной-двух тестовых букв. Совпадение только по пустому фону ненадёжно: на нём мало уникальных точек, а повторяющиеся клетки легко сдвинуть на один столбец.

Полезно включить в перекрытие участок разметки с разным окружением. Например, верхнюю и боковую линии ячеек, ближайший маркер и угол поля. Тогда можно сравнить не одну точку, а взаимное положение нескольких объектов. Опорные элементы должны принадлежать самому шаблону; край стола, скрепка или тень могут сместиться относительно листа.

Если снимаете камерой, зафиксируйте телефон и лист, насколько это возможно, и держите камеру примерно параллельно бумаге. Снимки с разной высоты дают разный масштаб и перспективу. Не полагайтесь на панорамный режим: алгоритм может «сшить» границы листа, но исказить прямые линии сетки, которые нужны для точного извлечения.

Перед соединением решите, достаточно ли простого сдвига или нужна геометрическая коррекция. Если два кадра сняты со штатива и лишь перемещена область обзора, обычно достаточно переместить один фрагмент относительно другого. Если кадр слегка повернулся, добавьте общий поворот. При изменении расстояния до листа нужен масштаб, а при заметном наклоне камеры — перспективное преобразование по четырём точкам плоскости.

Не начинайте с гибкой локальной деформации. Она может сделать стык визуально гладким, одновременно растянув клетки в разных направлениях. Для разметки, где размеры и соседство ячеек имеют значение, такое «улучшение» опасно: буква окажется привязана к сетке, которой на реальном листе не было.

Ориентируйтесь на линии листа и сетки, а не на отдельные рукописные буквы. Разные буквы имеют естественно разную ширину, поэтому контуры сами по себе плохие контрольные точки. Сначала восстановите плоскость страницы и регулярность разметки; только потом сравнивайте положение штрихов внутри соответствующих ячеек.

Для трёх и более кадров сначала собирайте центральные фрагменты, затем присоединяйте боковые и крайние к уже проверенному полотну. Не выравнивайте каждый новый кадр только с предыдущим: ошибка одного стыка накопится дальше. Сохраняйте журнал привязок — какие кадры соединены, какие точки использованы и где осталась неопределённость.

Сделайте увеличенный просмотр нескольких участков: один возле стыка, второй в центре кадра, третий у внешнего края. При совмещении линии должны продолжаться без ступеньки, двойного края и изменения угла. Проверяйте не только горизонтальные, но и вертикальные границы: вертикальная ошибка может быть незаметна на длинном горизонтальном ряду.

Затем сравните шаг сетки до и после стыка. Измерять каждую ячейку вручную необязательно; достаточно убедиться, что одинаковые интервалы повторяются и что края ячеек не начинают постепенно уходить относительно соседнего кадра. Если в исходном шаблоне ячейки различаются по ширине, сравнивайте одинаковые обозначенные клетки, а не среднее значение по странице.

Проверьте читаемость букв-пробников, которые попали в перекрытие. Один и тот же штрих должен быть непрерывным и иметь одинаковую толщину на обеих частях. Если его ветви раздваиваются, проблема может быть не в склейке: проверьте, не содержат ли кадры разные моменты записи, не изменился ли сам лист между съёмками.

Перед массовым извлечением вырежьте несколько контрольных клеток из начала, середины и конца каждого стыка. Сверьте их с исходными кадрами при увеличении. Пробная нарезка быстро показывает, совпадает ли координатная карта с общим полотном, и позволяет исправить проект до создания сотен отдельных файлов.

Представим шаблон, снятый в два ряда и два столбца. Верхние кадры перекрываются по вертикали на полосу с двумя рядами клеток, нижние — так же. Левый и правый снимки также имеют общую область. Начните с верхнего левого: отметьте угол маркера и два пересечения сетки в верхнем перекрытии. Совместите верхний правый только по этим точкам, затем проверьте ещё несколько линий по краям перекрытия.

После этого объедините нижние кадры отдельно, используя те же правила, и присоедините нижний ряд к верхнему по общим горизонтальным линиям. Проверяйте положение стыка как слева, так и справа. Если верхняя часть совпала в левом углу, но расходится у правого, значит, кадры имеют перспективное различие или бумага деформирована; добавление сдвига не решит проблему.

Наконец, возьмите по одной букве из каждой четверти и нарежьте их по сетке. Если четыре вырезки сохраняют одинаковое положение относительно ячеек, а линии у стыков продолжаются, можно переходить к остальным. Если один сектор требует отдельного сдвига сетки, не исправляйте только итоговые вырезки: найдите причину в преобразовании соответствующего кадра.

Надёжно восстановить их взаимное положение почти невозможно, если нет общих меток или известного масштаба и координат съёмки. Если сохранился оригинальный шаблон, переснимите фрагменты с общей полосой. Если пересъёмка невозможна, ищите повторяющиеся печатные ориентиры, но помечайте границу как неопределённую и обязательно проверяйте извлечённые рядом ячейки.

Нужно достаточно общих, не лежащих на одной линии деталей, чтобы заметить сдвиг, поворот и возможную перспективу. Практически выбирайте несколько пересечений сетки, распределённых по перекрытию, и добавляйте маркер либо угол ячейки с уникальным окружением. Чем больше разнообразных ориентиров, тем легче увидеть, что совпадение локально.

Сначала оцените, повторяется ли изгиб в каждом снимке и насколько он затрагивает область с буквами. Плоское перспективное преобразование исправляет наклон плоскости, но не сложную кривизну листа. Лучше переснять шаблон, прижав его ровно и сохранив перекрытие; локальную деформацию применяйте только с проверкой сетки и контрольных букв.

Кадры могут содержать один и тот же штрих в разных позициях либо сняты в разное время, когда рука или лист переместились. Проверьте оригинальные фрагменты отдельно и выберите один исходный вариант каждого участка. Не усредняйте два смещённых штриха: двойной контур станет частью вырезки.

Только если граница экспозиции мешает распознавать линии и метки. Для точности важнее сначала правильно совместить геометрию; цвет и фон можно привести к общему виду после проверки. Коррекция яркости не должна стирать светлые тонкие штрихи или превращать шум бумаги в контуры.

Можно, если для каждого кадра сохранена своя точная координатная сетка и известно соответствие ячеек общему списку символов. Однако единое полотно удобнее проверять визуально и труднее перепутать на границе. В любом случае зафиксируйте смещения фрагментов и сначала выполните контрольную нарезку.

Качественная склейка начинается с перекрытия и нескольких опор на самом шаблоне, продолжается корректным выбором геометрического преобразования и заканчивается проверкой линий и пробных вырезок. Не скрывайте неуверенный стык косметической обработкой: исправьте кадр или переснимите его, прежде чем ошибка разойдётся по всему набору. Когда сетка готова, можно переносить почерк в цифровую форму с помощью Fontgenerator и проверить результат на собственных текстах.