Файл llms.txt
Файл llms.txt. Помощь в создании больших языковых моделей.
Большие языковые модели все чаще использую сайты как источник информации. Удивительно, да? Нет. Как раньше было с поиском, теперь AI. Основная проблема в том, что обработка не структурированных данных реально сложный процесс. Создать правильный контекст, понять его, та еще "задачка". Как преобразовать сложный HTML, насыщенный JavaScript, стилями, рекламной, всплывающими окнами и т.п. в простой и понятный текст? Задача сложная. Плюс решить её точно и без лишнего инфо шума непросто.
Предлагается использовать файл llms.txt в формате Markdown в корне сайта. В формате удобном для языковых моделей. Этот файл должен содержать краткую справочную информацию, рекомендации и ссылки на файлы с подробной информацией.
При этом разметка llms.txt понятна как LLM так и человеку.
Дополнительно предлагается создавать упрощенные версии страниц сайта в формате markdown.
Как бы интеллект он интеллект, но пока ума у него маловато. На данный момент это все так же автоматизированная обработка "больших данных". Поиск уже сейчас проигрывает LLM. Для специальных областей LLM намного удобней чем поиск, плюс возможность работы локально, на своей рабочей станции. Это реально удобно и мощно.
Читаем оригинал https://llmstxt.org/