Набери в Гугле "VirtualDubMod mkv" и получишь ссылки на VirtualDubMod - это модифицированная версия VirtualDub, специально созданная для работы с нестандартными форматами, в том числе и с Матрешкой. Открой файл ним, выбери кодек для перепаковки видео и звука - например, ДИвХ и МП3 и сохрани, как АВИ-файл. Получишь то, что нужно...
Поддерживаю. Если задача стоит "MKV -> образ DVD-Video", то здесь проще будет сначала сконвертить mkv в авишку и затем подготовить образ двд-видео в своем любимом редакторе.

Временный avi-файл можно сжать в дивкс с настройками околомакс. качества (на заглавной вкладке настроек кодека):
Certification profile - unconstrained
rate control - 1 pass quality-based, fixed quantizer = 2.
На второй вкладке - encoding mode - better quality или выше.

Получаем авишку большого размера, после чего делаем образ двд-видео, например, в Неро:

Запускаем Nero Startsmart;
выбираем тип диска - DVD;
группа - "Фото и видео";
"Сделать свой DVD-Video";

Запускается приложение Nero Vision.
Нажимаем кнопку "Добавить видеофайлы..."
Добавляем,
оформляем диск по вкусу,
устанавливаем нужные нам настройки кодирования
и записываем либо в образ диска, либо на реальный диск, либо - на жесткий диск (содержимое папки video_ts).
Всё...

P.S. Может быть Nero Vision версии пакета "8" поддерживает MKV напрямую, не пробовал.