Как извлечь триплеты из текста страницы: инструкция для SEO-специалиста

Колонки URL, «Вопрос покупателя» и «Статус проверки» добавляете вы: модель их не заполняет. Статус ставит человек: верно, частично, неверно, не факт.

Ты извлекаешь факты из текста страницы сайта для SEO-анализа. Для каждого предложения выпиши все проверяемые факты строками таблицы с колонками: № фрагмента | Цитата (предложение целиком) | Контекст | Субъект | Связь | Объект | Условие | Тип факта | Пометка для проверки.

1. Извлекай только то, что сказано в тексте. Чтобы раскрыть местоимение или найти пропущенный субъект, используй заголовок и соседние предложения, но ничего не добавляй из своих знаний. Если субъект или условие взяты из соседнего фрагмента, запиши этот фрагмент в колонку «Контекст»; если однозначно восстановить нельзя, напиши в «Пометке» слово «проверить».
2. Условия («если», «при», «после», «от», «до», «только», «в пределах») не теряй: вынеси в колонку «Условие». Если условия нет, поставь «—»; если не уверен, поставь «?».
3. Числа и единицы измерения сохраняй как в тексте.
4. Отрицание сохраняй в связи («не содержит»).
5. Связь пиши глаголом в начальной форме или короткой фразой.
6. Тип факта выбери из списка: цена, срок, доставка, оплата, гарантия, состав, процесс, масштаб/опыт, прочее.
7. Если в предложении нет проверяемого факта (призыв, вопрос, заголовок), пропусти его.
8. Одно утверждение — одна строка; составное раскладывай на несколько строк.
9. В колонке «Цитата» повтори предложение целиком без изменений. В «Пометке» пиши «проверить» для местоимений, модальности («может», «должен») и всего, в чём не уверен.

ТЕКСТ: (вставьте нумерованные фрагменты страницы вместе с заголовками)

Установка в терминале: pip install natasha

from natasha import (Segmenter, MorphVocab, NewsEmbedding,
                     NewsMorphTagger, NewsSyntaxParser, Doc)

segmenter, morph_vocab = Segmenter(), MorphVocab()
emb = NewsEmbedding()
morph_tagger, syntax_parser = NewsMorphTagger(emb), NewsSyntaxParser(emb)

def subtree(tok, tokens):
    """Слово и всё, что от него зависит, в порядке текста."""
    ids, stack = set(), [tok.id]
    while stack:
        cur = stack.pop()
        if cur in ids:  # защита от цикла в дереве разбора
            continue
        ids.add(cur)
        stack += [t.id for t in tokens if t.head_id == cur]
    return " ".join(t.text for t in tokens if t.id in ids)

def triples(text):
    doc = Doc(text)
    doc.segment(segmenter)
    doc.tag_morph(morph_tagger)
    doc.parse_syntax(syntax_parser)
    for sent in doc.sents:
        toks = sent.tokens
        for v in (t for t in toks if t.pos == "VERB"):
            v.lemmatize(morph_vocab)
            subj = [t for t in toks if t.head_id == v.id and t.rel in ("nsubj", "nsubj:pass")]
            objs = [t for t in toks if t.head_id == v.id and t.rel in ("obj", "obl", "iobj")]
            for s in subj:
                for o in objs:
                    neg = any(t.head_id == v.id and t.text.lower() in ("не", "нет", "ни") for t in toks)
                    yield subtree(s, toks), ("не " if neg else "") + v.lemma, subtree(o, toks)

for t in triples("Точную цену мастер рассчитает после осмотра объекта и согласования перечня работ."):
    print(t)

import csv
import re
import sys

import trafilatura
from natasha import (Segmenter, MorphVocab, NewsEmbedding,
                     NewsMorphTagger, NewsSyntaxParser, Doc)

segmenter, morph_vocab = Segmenter(), MorphVocab()
emb = NewsEmbedding()
morph_tagger, syntax_parser = NewsMorphTagger(emb), NewsSyntaxParser(emb)

COLUMNS = ["url", "fragment_id", "quote", "context", "subject", "predicate", "object",
           "condition", "type", "buyer_question", "check_flags", "manual_status"]
CONDITION_MARKERS = re.compile(r"\b(если|при|после|до|от|только|когда|кроме|в пределах|в случае|за исключением)\b", re.I)
MODAL_LEMMAS = {"мочь", "уметь", "должен", "обязан"}
MODAL_MARKERS = re.compile(r"\b(может|могут|мог|могла|могли|должен|должна|должны|обязан|обязана|обязаны|умеет|вправе|возможно)\b", re.I)


def subtree(tok, children, by_id):
    ids, stack = set(), [tok.id]
    while stack:
        cur = stack.pop()
        if cur in ids:  # защита от цикла в дереве разбора
            continue
        ids.add(cur)
        stack += [c.id for c in children.get(cur, [])]
    return " ".join(by_id[i].text for i in sorted(ids, key=lambda i: by_id[i].start) if i in by_id)


def is_negated(verb, children):
    return any(t.text.lower() in ("не", "нет", "ни") for t in children.get(verb.id, []))


def page_to_rows(text, url):
    n, context = 0, ""
    for line in text.splitlines():  # абзацы и заголовки обрабатываем отдельно
        line = line.strip()
        if not line:
            continue
        if line.startswith("|"):  # строка таблицы: ячейки не разбираем, их заполняют вручную
            n += 1
            if not set(line) <= set("|-: "):  # строку-разделитель |---|---| пропускаем
                yield [url, n, line, context, "", "", "", "", "", "", "таблица: разберите вручную", ""]
            continue
        if len(line) < 100 and not line.endswith((".", "!", "?", "…")):
            context = line  # короткая строка без точки: заголовок, это контекст следующих предложений
        doc = Doc(line)
        doc.segment(segmenter)
        doc.tag_morph(morph_tagger)
        doc.parse_syntax(syntax_parser)
        for sent in doc.sents:
            n += 1
            toks = sent.tokens
            children = {}
            for t in toks:
                children.setdefault(t.head_id, []).append(t)
            by_id = {t.id: t for t in toks}
            has_marker = bool(CONDITION_MARKERS.search(sent.text))
            has_modal_marker = bool(MODAL_MARKERS.search(sent.text))
            glued = bool(re.search(r"[а-яёa-z][А-ЯЁA-Z]", sent.text))  # слова слиплись: заголовок или ячейки таблицы
            found = False
            for v in (t for t in toks if t.pos == "VERB"):
                v.lemmatize(morph_vocab)
                kids = children.get(v.id, [])
                subj = [t for t in kids if t.rel in ("nsubj", "nsubj:pass")]
                objs = [t for t in kids if t.rel in ("obj", "obl", "iobj")]
                for s in subj:
                    for o in objs:
                        found = True
                        flags = []
                        if v.lemma in MODAL_LEMMAS or has_modal_marker:
                            flags.append("модальность")
                        if s.pos == "PRON":
                            flags.append("местоимение-субъект")
                        if has_marker:
                            flags.append("условие")
                        if glued:
                            flags.append("склейка?")
                        pred = ("не " if is_negated(v, children) else "") + v.lemma
                        # condition: ПРОВЕРИТЬ = в предложении есть маркер условия, скрипт его не извлекает;
                        # пусто = маркеров условия нет
                        yield [url, n, sent.text, context, subtree(s, children, by_id), pred, subtree(o, children, by_id),
                               "ПРОВЕРИТЬ" if has_marker else "", "", "", "; ".join(flags), ""]
            if not found:  # предложение без записи тоже попадает в таблицу: для ручной разметки
                review = ["нет записи"]
                if has_marker:
                    review.append("условие")
                if has_modal_marker:
                    review.append("модальность")
                if glued:
                    review.append("склейка?")
                yield [url, n, sent.text, context, "", "", "", "", "", "", "; ".join(review), ""]


if __name__ == "__main__":
    url, out = sys.argv[1], sys.argv[2]
    html = trafilatura.fetch_url(url)
    if not html:
        sys.exit("ОШИБКА: страница не загружена. Это пропуск, а не «утверждений нет».")
    text = trafilatura.extract(html, include_tables=True, favor_recall=True)
    if not text:
        sys.exit("ОШИБКА: основной текст не извлечён (JS-страница, защита от ботов или нестандартная вёрстка). "
                 "Это пропуск, а не «утверждений нет».")
    rows = list(page_to_rows(text, url))
    with open(out, "w", encoding="utf-8-sig", newline="") as f:
        w = csv.writer(f, delimiter=";")
        w.writerow(COLUMNS)
        w.writerows(rows)
    print("строк: %d, из них с записью: %d" % (len(rows), sum(1 for r in rows if r[4])))

# -*- coding: utf-8 -*-
"""Таблицы страницы -> строки «объект — столбец: значение», чтобы характеристика не оторвалась от товара или тарифа.

python tables_to_facts.py URL > facts.txt
python tables_to_facts.py page-rendered.html > facts.txt

Таблицы берутся прямо из HTML, а не из очищенного текста: очистка может потерять строку заголовков.
Заголовки столбцов берутся из первой строки <thead>; если <thead> нет, первая строка
принимается за заголовок и явно помечается для проверки. Первая ячейка строки — объект.
Перед фактами печатается принятая строка заголовков. Объединённые ячейки, вложенные
таблицы и строки с неожиданным числом ячеек не преобразуются в факты: для них выводится
предупреждение, и таблицу нужно обработать вручную.
"""
import re
import sys
from collections.abc import Iterator
from pathlib import Path

import trafilatura
from lxml import html as lh
from lxml.html import HtmlElement


def text(cell: HtmlElement) -> str:
    return re.sub(r"\s+", " ", cell.text_content()).strip()


def table_facts(table: HtmlElement) -> Iterator[str]:
    # Разбираем только строки этой таблицы. Вложенные таблицы выводятся отдельно ниже.
    if table.xpath(".//table"):
        yield "# ПРЕДУПРЕЖДЕНИЕ: вложенная таблица; внешнюю таблицу соберите вручную"
        return

    for cell in table.xpath(".//th|.//td"):
        for attr in ("rowspan", "colspan"):
            value = cell.get(attr)
            if value is not None:
                try:
                    merged = int(value) != 1
                except ValueError:
                    merged = True
                if merged:
                    yield "# ПРЕДУПРЕЖДЕНИЕ: обнаружена объединённая ячейка (%s); таблицу соберите вручную" % attr
                    return

    head_rows = table.xpath("./thead/tr")
    if len(head_rows) > 1:
        yield "# ПРЕДУПРЕЖДЕНИЕ: многострочный заголовок; таблицу соберите вручную"
        return

    body_rows = table.xpath("./tbody/tr") or table.xpath("./tr")
    if head_rows:
        head = [text(c) for c in head_rows[0].xpath("./th|./td")]
    else:
        if not body_rows:
            yield "# ПРЕДУПРЕЖДЕНИЕ: строки таблицы не найдены"
            return
        head = [text(c) for c in body_rows[0].xpath("./th|./td")]
        body_rows = body_rows[1:]
        yield "# ПРЕДУПРЕЖДЕНИЕ: <thead> отсутствует; первая строка принята за заголовок — проверьте её"
    if len(head) < 2 or any(not label for label in head):
        yield "# ПРЕДУПРЕЖДЕНИЕ: заголовки пустые или не позволяют связать значение с объектом; таблицу соберите вручную"
        return
    yield "# заголовки столбцов (сверьте с видимой таблицей): " + " | ".join(head)
    for row_number, tr in enumerate(body_rows, start=2 if not head_rows else 1):
        cells = [text(c) for c in tr.xpath("./th|./td")]
        if not any(cells):
            continue
        if len(cells) != len(head):
            yield "# ПРЕДУПРЕЖДЕНИЕ: строка %d содержит %d ячеек, а заголовок — %d; строка пропущена" % (
                row_number, len(cells), len(head)
            )
            continue
        obj = cells[0] or "строка без названия"
        parts = ["%s: %s" % (h, v) for h, v in zip(head[1:], cells[1:]) if v]
        if not parts:
            yield "# ПРЕДУПРЕЖДЕНИЕ: строка %d не содержит значений для объекта %r" % (row_number, obj)
            continue
        yield "%s — %s" % (obj, "; ".join(parts))


if __name__ == "__main__":
    source = sys.argv[1]
    source_path = Path(source)
    if source_path.is_file():
        page = source_path.read_text(encoding="utf-8")
    else:
        page = trafilatura.fetch_url(source)
    if not page:
        sys.exit("ОШИБКА: страница не загружена. Это пропуск, а не «таблиц нет».")
    tables = lh.fromstring(page).xpath("//table")
    if not tables:
        sys.exit("На странице нет HTML-таблиц. Если таблица нарисована скриптом, сохраните отрисованный HTML через render_to_text.py.")
    for t in tables:
        for line in table_facts(t):
            print(line)
        print()

# -*- coding: utf-8 -*-
"""Страница, где текст появляется после загрузки скриптов -> текст и, при необходимости, отрисованный HTML.

pip install playwright trafilatura && playwright install chromium
python render_to_text.py URL > page.txt
python render_to_text.py URL page-rendered.html > page.txt
"""
import sys
from pathlib import Path

import trafilatura
from playwright.sync_api import Error as PlaywrightError
from playwright.sync_api import TimeoutError as PlaywrightTimeoutError
from playwright.sync_api import sync_playwright

# The command's main output is meant to be redirected to a UTF-8 text file.
# Windows consoles otherwise may choose a legacy code page and fail on Russian text.
if hasattr(sys.stdout, "reconfigure"):
    sys.stdout.reconfigure(encoding="utf-8")
if hasattr(sys.stderr, "reconfigure"):
    sys.stderr.reconfigure(encoding="utf-8")

if len(sys.argv) < 2:
    sys.exit("Использование: python render_to_text.py URL [page-rendered.html]")
url = sys.argv[1]
html_path = Path(sys.argv[2]) if len(sys.argv) > 2 else None
with sync_playwright() as p:
    browser = p.chromium.launch()
    try:
        page = browser.new_page()
        try:
            page.goto(url, wait_until="domcontentloaded", timeout=60000)
        except PlaywrightError as exc:
            sys.exit("ОШИБКА: страница не открылась в браузере: %s" % exc)
        try:
            page.wait_for_load_state("networkidle", timeout=12000)
        except PlaywrightTimeoutError:
            print("ПРЕДУПРЕЖДЕНИЕ: сеть продолжает работать; сохранён DOM после начальной загрузки и ожидания.", file=sys.stderr)
        page.wait_for_timeout(1500)  # даём завершиться обычной отрисовке и ленивой подгрузке
        rendered_html = page.content()
    finally:
        browser.close()
if html_path is not None:
    html_path.write_text(rendered_html, encoding="utf-8")
text = trafilatura.extract(rendered_html, include_tables=True, favor_recall=True)
if not text:
    sys.exit("ОШИБКА: основной текст не извлечён даже после рендера. Это пропуск, а не «утверждений нет».")
print(text)

# -*- coding: utf-8 -*-
"""Список адресов -> одна таблица для ручной проверки + журнал ошибок.

python pages_to_csv_batch.py urls.txt result.csv [journal.csv]

urls.txt: один адрес в строке, пустые строки и строки с # пропускаются.
Каждая страница обрабатывается как в page_to_csv.py. Неудачные адреса повторяются один раз в конце.
Страница, которая не загрузилась или не дала основной текст, попадает в журнал как пропуск, а не как «утверждений нет».
"""
import csv
import sys
import time

import trafilatura

from page_to_csv import COLUMNS, page_to_rows


def fetch_rows(url):
    html = trafilatura.fetch_url(url)
    if not html:
        return None, "страница не загружена"
    text = trafilatura.extract(html, include_tables=True, favor_recall=True)
    if not text:
        return None, "основной текст не извлечён (JS-страница, защита от ботов или нестандартная вёрстка)"
    return list(page_to_rows(text, url)), ""


def main():
    src, out = sys.argv[1], sys.argv[2]
    journal = sys.argv[3] if len(sys.argv) > 3 else "journal.csv"
    with open(src, encoding="utf-8") as f:
        input_urls = [u.strip() for u in f if u.strip() and not u.strip().startswith("#")]
    # Один URL может случайно повториться в списке. Не загружаем его повторно и
    # не дублируем строки результата; повторную строку отмечаем в журнале.
    urls = list(dict.fromkeys(input_urls))
    status = {}
    with open(out, "w", encoding="utf-8-sig", newline="") as f:
        w = csv.writer(f, delimiter=";")
        w.writerow(COLUMNS)
        for attempt in (1, 2):  # второй проход только для неудач
            todo = [u for u in urls if status.get(u, ("", 0, 0, ""))[0] != "ok"]
            for u in todo:
                try:
                    rows, err = fetch_rows(u)
                except Exception as e:  # сеть или разбор: страница пропущена, прогон продолжается
                    rows, err = None, "%s: %s" % (type(e).__name__, e)
                if rows is None:
                    status[u] = ("ошибка", 0, 0, err)
                else:
                    w.writerows(rows)
                    status[u] = ("ok", len(rows), sum(1 for r in rows if r[4]), "")
                time.sleep(1.5)  # пауза, чтобы не нагружать чужие сайты
    with open(journal, "w", encoding="utf-8-sig", newline="") as f:
        w = csv.writer(f, delimiter=";")
        w.writerow(["url", "статус", "строк", "строк с триплетом", "причина"])
        seen = set()
        for u in input_urls:
            if u in seen:
                w.writerow([u, "дубль", 0, 0, "повтор URL не обрабатывался"])
                continue
            seen.add(u)
            w.writerow([u] + list(status[u]))
    bad = [u for u in urls if status[u][0] != "ok"]
    print("строк адресов: %d, уникальных адресов: %d, обработано: %d, пропущено: %d (см. %s)" % (
        len(input_urls), len(urls), len(urls) - len(bad), len(bad), journal
    ))


if __name__ == "__main__":
    main()

Проверка рабочего промпта и скрипта на тех же 400 предложениях

Рабочий промпт из этой статьи проверен отдельно от тестовой инструкции. Sonnet 5.5, Opus и исправленный скрипт получили одни и те же 400 предложений, каждое без заголовка и соседнего текста.

Claude Sonnet проверил триплеты вслепую: он не знал, какой способ выдал строку. Codex независимо перепроверил 240 из 1456 триплетов. В 76 случаях из 100 оценки совпали; коэффициент согласия с поправкой на случайные совпадения равен 0,52, то есть согласие умеренное. На этой подвыборке строго верны 90% триплетов Sonnet, 86% Opus и 38% скрипта; у первого судьи — 93%, 87% и 32% соответственно.

Полнота показывает, сколько из 646 заранее составленных фактов нашёл каждый способ; это оценивал Opus. Диапазоны погрешности рассчитаны на случайных подвыборках предложений (бутстреп). Точность оценивал Sonnet, в том числе у самого Sonnet: независимая перепроверка дала близкие цифры, но возможную поблажку к собственным ответам полностью не исключает.

Те же способы на фрагментах 30 страниц, до 700 слов

Чтобы проверить работу на реальной странице, я случайно выбрал 30 страниц. От каждой взял первые 700 слов вместе с заголовками. Один и тот же текст получили Sonnet с рабочим промптом и скрипт. Sonnet выдал 1 850 триплетов, скрипт — 774; после объединения результатов и удаления дублей осталось 2 604 уникальных триплета. Затем Sonnet-судья оценил их вслепую, не зная, какой способ выдал каждую запись.

Скрипт: 774 триплета, или 4,0 на 100 слов. Полностью верны 36,6% (30,9–42,2%), полностью или приблизительно — 66,5%.

Sonnet: 1850 триплетов, или 9,5 на 100 слов. Полностью верны 66,8% (58,3–75,4%), полностью или приблизительно — 78,3%. Неверных триплетов у модели всего 14. Ещё 387 строк (21%) взяты из навигации, призывов и обрывков, где нет проверяемого факта.

В тесте первых 700 слов 30 страниц строгая точность Sonnet составила 66,8% (58,3–75,4%), а в отдельном тесте предложений — 90,2%. Условия тестов различались, поэтому это сравнение не устанавливает причину разницы. При этом 387 из 1850 строк Sonnet (21%) на фрагментах страниц были оценены как «не факт» — навигация, призывы или обрывки. Перед переносом в ТЗ такие строки нужно отсеивать.

Что из этого следует. На этих предложениях рабочий промпт почти втрое точнее скрипта и находит в 4–5,5 раза больше эталонных фактов.

Sonnet точнее, но находит меньше: 73% эталонных фактов против 93% у Opus. Opus при этом выписывает почти вдвое больше триплетов. Разница точности 90% против 83% не окончательная: диапазоны почти соприкасаются, а судья Sonnet мог быть мягче к собственным ответам.

Для карты фактов конкурента важнее полнота. Для готовых формулировок в ТЗ важнее точность и ручная сверка. Скрипт подходит как бесплатный черновик, но не как источник окончательных выводов.

При прогоне найдены и исправлены два дефекта скрипта. Первый: на одном предложении функция сборки поддерева уходила в цикл (добавлена проверка «уже посещено»). Второй: на длинных строках сборка поддерева работала за квадратичное время, и страница на 15 887 слов обрабатывалась 611 секунд; после замены перебора словарём детей той же страницы хватает 4,5 секунд. На 400 предложениях вывод до и после исправления совпал побайтно. Опубликована исправленная версия.

Что показал тест четырёх способов

Строгая точность — оценённая доля полностью корректных триплетов среди выданных системой на этом наборе: у моих правил на Natasha 26%, у Claude Haiku 70%, у Sonnet 83%, у Opus 89%. Это не значит, что система достала 89% информации с любой страницы, и не подтверждает истинность заявлений компании. Результат даёт основание включить Sonnet или Opus в локальную проверку на ваших данных, но не заменяет её. Оценку выставляла модель того же семейства; второй судья из другого семейства (Codex) дал близкие цифры при умеренном согласии, поэтому абсолютные значения могут быть завышены.

Один режим работы не должен подменять другой: человеку, разбирающему одну страницу, не нужен эталон на 500 триплетов; тому, кто собирает массовый отчёт, не хватит проверки трёх удачных примеров.