Одно преобразование вместо двух: как вырезать буквы после коррекции перспективы

Когда шаблон снят под углом, сначала хочется выровнять весь лист, а затем по очереди обрезать ячейки. Но если после выравнивания каждую вырезку ещё раз уменьшить или увеличить, тонкий рукописный штрих проходит через две операции пересчёта пикселей. Он может стать бледнее, толще или неровнее. Надёжнее заранее определить конечную геометрию, выполнить одно преобразование исходного изображения и нарезать ячейки уже в координатах полученного листа.

Фотография состоит из пикселей, а углы ячеек после исправления перспективы обычно оказываются в дробных координатах. Программа должна вычислить, какой цвет назначить каждой точке нового растра, опираясь на соседние точки исходника. Это и есть интерполяция. При выпрямлении сетки она нужна даже тогда, когда пользователь не меняет разрешение намеренно: наклонённый лист пересэмплируется в прямоугольную сетку пикселей.

Если затем вырезку подгоняют к фиксированному размеру, появляется второй пересчёт. Один и тот же короткий штрих может сначала попасть между пикселями при перспективном преобразовании, а затем смешаться с фоном ещё раз при масштабировании фрагмента. Для крупных чёрных букв разница часто незаметна; для тонкой ручки, слабого карандаша или маленькой детали она проявляется как разрыв, серый край или потеря исходной формы.

Важно различать две задачи: исправить положение листа и привести символы к общей метрике. Первая относится к геометрии снимка, вторая — к подготовке образцов. Если объединить их в цепочку «выправить — сохранить — открыть снова — изменить размер», становится труднее понять, на каком шаге пропала деталь. Храните исходник неизменным и считайте любой новый растровый файл производным результатом.

До преобразования решите, какого размера будет выровненный лист и где на нём пройдут границы ячеек. Опирайтесь на распознанные метки, углы листа или другие надёжные ориентиры. Не подбирайте размер выходного изображения только по ширине фотографии: перспективная трансформация может вытянуть одну сторону сильнее другой, а произвольная ширина закрепит это различие.

Для регулярного шаблона полезно определить прямоугольник листа в координатах результата, например его ширину и высоту в пикселях, а затем описать линии сетки как доли этих размеров. Если после коррекции шаг ячейки равен 240 пикселям, границы вычисляются от общей системы координат, а не накапливаются округлением при переходе от клетки к клетке. Так соседние вырезки не начнут постепенно смещаться.

Размер результата выбирают по исходному материалу и минимальной детали, которую надо сохранить, а не ради красивого числа пикселей. Увеличение изображения создаёт дополнительные отсчёты, но не возвращает линию, которой не было видно в оригинале. Чрезмерно маленький выход, наоборот, может объединить близкие штрихи или стереть тонкую отметку. Перед пакетной обработкой рассчитайте размер на самой требовательной ячейке: с самым тонким элементом и наиболее сильным перспективным растяжением.

Практический конвейер можно построить в пять этапов:

Библиотека OpenCV описывает геометрическое преобразование как вычисление источника для каждой точки назначения; для перспективной правки в ней есть warpPerspective, а для общей карты координат — remap. Это подсказывает полезный принцип: формулировать операцию от конечной сетки к исходнику и запрашивать каждый пиксель результата напрямую. Подробнее — в документации OpenCV по геометрическим преобразованиям. Названия функций здесь служат примером, а не требованием использовать именно OpenCV: ту же логику можно реализовать в другой программе.

Метод интерполяции влияет на то, как строятся новые пиксели между исходными. Ближайший сосед переносит значение одной исходной точки без смешивания соседей. Он полезен для двоичной маски или карты ячеек, где важно сохранить метки категорий, но на сером изображении буквы может дать ступенчатые края. Билинейная интерполяция усредняет ближайшие точки и часто даёт спокойный результат для обычной фотографии, хотя тонкий штрих может выглядеть чуть мягче. Более резкие фильтры могут подчеркнуть край, но иногда создают светлые или тёмные ореолы.

Универсального фильтра для каждого шаблона нет. Сначала сравните небольшой фрагмент с тонкой диагональю, дугой, одиночной точкой и участком слабого нажима. Покажите его в масштабе 100% и увеличьте для технического осмотра, но не оценивайте пригодность только по увеличенному экранному превью. Исходная фотография, промежуточная трансформация и финальная вырезка должны быть доступны рядом, чтобы можно было увидеть, какая деталь исчезла.

Если программа позволяет, делайте геометрическую коррекцию на изображении с достаточной разрядностью и не переводите его в чёрно-белый режим до проверки. Для мягкого карандашного штриха бинаризация может стереть часть линии, а после этого более качественная интерполяция уже не поможет. Если цель — получить чистую маску, создавайте её отдельным производным файлом с понятными настройками и сверяйте с исходным тоном.

После выпрямления сетку следует считать в координатах результата. Смешение координат — частая причина того, что буква режется по краю: человек видит на экране выровненную картинку, а скрипт использует границы из исходного снимка. Любая обрезка до перспективной коррекции меняет начало координат. Если она необходима, сначала зафиксируйте её смещение и включите его в преобразование; ещё проще — оставить весь исходный кадр и точно задать преобразование один раз.

Для каждой ячейки записывайте левую, верхнюю, правую и нижнюю границы как координаты целых пикселей после единого округления. Соседние клетки должны использовать одну и ту же общую границу: правая граница первой одновременно служит левой границей второй. Это устраняет щели и перекрытия, которые возникают, когда ширина ячейки округляется независимо и затем многократно прибавляется.

Добавьте внутреннее поле, если буквы подходят близко к линии сетки, но не сдвигайте границу произвольно от клетки к клетке. Поле должно быть частью схемы шаблона и одинаково применяться ко всем позициям; исключения для выносных элементов лучше помечать отдельно. При вырезке крайний контур буквы не должен совпадать с краем файла: прозрачный или светлый запас помогает дальнейшей очистке и даёт место для проверки формы.

Не запускайте сразу полный пакет. Выберите четыре–шесть ячеек: с самой тонкой линией, высоким выносным элементом, близким к рамке штрихом, слабым нажимом, круглой формой и пересечением линий. Для каждой сохраните исходную область, соответствующий кусок после выравнивания и конечную вырезку. Сравнивайте не только размеры, но и связность штриха, положение детали внутри ячейки и сохранность фона.

Полезна простая таблица проверки: номер клетки, ожидаемые границы, фактический размер, замеченная потеря и принятое решение. Если результат плох только в одной зоне листа, проверьте ошибку опорных точек и неравномерность исходного растра, а не компенсируйте локальную проблему глобальным увеличением. Если вся страница стала мягче, проверьте число преобразований и фильтр. Когда тест пройден, используйте те же расчёты и настройки для остальных клеток.

Сравнение в программе просмотра должно выполняться при одинаковом масштабе и без дополнительного сглаживания миниатюр. Сохраняйте контрольные примеры в формате, который не добавляет потерь при каждом сохранении. При необходимости уменьшить файлы делайте это после отбора и храните исходную версию отдельно; JPEG может добавлять блоковые артефакты и менять границы тонких линий.

Обычно удобнее выровнять весь лист в одну целевую систему координат, а затем резать по сетке результата. Тогда все ячейки используют общую геометрию и проще сравниваются. Исключение — когда преобразование каждой ячейки прямо из исходника можно вычислить одной операцией; тогда сохраняйте для всех клеток тот же расчёт опорных координат.

Можно, если финальный размер нужен для следующего этапа, но увеличение не добавит детали, которой нет в исходнике. По возможности рассчитайте конечный масштаб вместе с выправлением, чтобы не выполнять второй независимый ресэмплинг. Если повторное изменение размера всё же нужно, сохраните его как отдельный производный результат и проверьте тонкие детали.

Начните с обычной интерполяции для фотографического растра и сравните контрольные фрагменты; не существует значения, которое одинаково хорошо подходит для ручки, карандаша и тонера. Ближайший сосед обычно уместнее для меток или двоичной маски. Выбирайте по сохранности линий и отсутствию ореолов, а не только по субъективной резкости.

Проверьте, не было ли промежуточного уменьшения, JPEG-сохранения или повторного изменения размера. Сравните исходник с результатом при том же масштабе и оцените, исчезла ли линия до бинаризации. Если исходное изображение не содержит штрих достаточно отчётливо, программное увеличение его не восстановит — переснимите или пересканируйте шаблон.

Не обязательно. Если сетку удаляют автоматически, сначала убедитесь, что она отделяется от штрихов без повреждений. Часто безопаснее сохранить тональный оригинал, выровнять его, а удаление сетки выполнять на копии. Сравнение до и после особенно важно там, где рукописная линия касается рамки.

Одинаковые рамки полезны, но подгонка каждого фрагмента отдельным масштабированием может исказить относительные размеры букв и добавить повторную интерполяцию. Сначала обеспечьте одинаковые геометрические области на выровненном листе; затем решите, действительно ли следующему этапу нужны файлы фиксированного размера. Если нужны, используйте единый масштаб и одинаковое поле.

Для почти параллельного скана это может быть приемлемо, если проверка показывает одинаковый шаг сетки и прямые границы ячеек. На заметно наклонённом снимке одинаковые координаты уже не описывают равные клетки, и крайние буквы начнут срезаться или получать разное поле. Решение принимайте по измерениям ориентиров, а не по тому, насколько ровно лист кажется на экране.

Чтобы аккуратно извлечь буквы из сфотографированного шаблона, зафиксируйте исходник, задайте целевой прямоугольник и сетку до обработки, а затем выполните перспективную коррекцию один раз и режьте по общей системе координат. Проверьте несколько сложных ячеек до пакетной нарезки. Если вы затем собираете собственный алфавит, можно перенести проверенные рукописные формы в Fontgenerator и доработать их уже как набор согласованных знаков.