Розробляв систему оптичного розпізнавання рукописного тексту на основі моделей trocr (microsoft/trocr - base - handwritten) та donut (naver - clova - ix/donut - base), з використанням pytorch і transformers.
Cтворив повний пайплайн для навчання моделі, який включав
Попередню обробку зображень через opencv, numpy, pil, matplotlib Кастомні аугментації та квадратне вирівнювання зображень
Побудову датасету для ocr на основі власного парсера txt, json, jpg форматів.

Ініціалізував та налаштував тренування з використанням seq2seqtrainer, метрики cer, earlystoppingcallback, логи в tensorboard.

Використовував fastapi для розгортання rest - сервісу з доступом до навченої ocr - моделі.

Розгортав api локально за допомогою ngrok для інтеграції з клієнтськими додатками або демонстрації результатів.

Оптимізував розмір зображень і довжини токенів на основі емпіричного аналізу для зменшення споживання gpu - пам яті.

Візуалізував результати навчання та помилок моделі для подальшої діагностики за допомогою matplotlib