LoRA не помогла: как мы дообучали Mistral 7B на русском и что в итоге сработало

Mistral 7B — одна из лучших открытых моделей на тот момент — на русском ошибался в склонениях, плохо следовал русскоязычным промптам и терял смысл в длинных диалогах. Стало понятно: придётся дообучать самим.