🤔 Кажется, это что-то на LLM-ском? 🧐

Здравствуйте! Закончились учебные токены. В телеграм-чате не отвечают.

я перепутал символы ¡ и i -- потому вычищал i и 2 раза решение не туда( задание классное!

Символы заменять на "" не на ' ' как в колабе.  

lang_schema = ResponseSchema(name='lang',  description='What language is the text written in?\nWrite the answer in one word.')

hero_schema = ResponseSchema(name='hero',  description='Напиши имя главного героя текста?')

response_schema = [lang_schema, hero_schema]

output_parser = StructuredOutputParser.from_response_schemas(response_schema)

template = PromptTemplate(template = 'Ответь на вопросы после текста. \n\ntext: {input_text}\n\n{format_instructions}',

                           input_variables=['input_text'],

                           partial_variables='format_instructions':output_parser.get_format_instructions()})

​​​​​​​def del_chars(inputs: dict) -> dict:

  text = inputs['input_text']

  text = re.sub(r'[¿¡£]', '', text)

  result = inputs | {'input_text': text}

  return result

seq = del_chars | \

           RunnableParallel(

                  clear_text=RunnablePassthrough(itemgetter('input_text')),

                  answer = template | llm | output_parser)

res = []

for txt in df['raw_text']:

  a = seq.invoke({'input_text': txt})

  res.append({'text': a['clear_text']['input_text'],

              'language': a['answer']['lang'],

              'main_character': a['answer']['hero']})

result =  pd.DataFrame.from_dict(res)

result.to_csv('3.2.9.csv', index=False)

def clean_text(inputs: dict) -> dict:

    text = inputs["text"]

    # Удаляем ненужные символы

    text = text.replace("¿", "").replace("¡", "").replace("£", "")

return {"text": text}

# Определим схемы ответа

language_schema = ResponseSchema(name='language', description='The language of main character')

person_schema = ResponseSchema(name='name', description='The name of main character')

response_schemas = [language_schema, person_schema]

output_parser = StructuredOutputParser.from_response_schemas(response_schemas) # Создаём парсер и подаём в него список со схемами

format_instructions = output_parser.get_format_instructions() # Получаем инструкции по форматированию ответа

template="""

Ты как эксперт в области анализа данных извлеки мне имя главного персонажа и определи язык.

###

Context:

{text}

###

{format_instructions}

"""

prompt = PromptTemplate(

template=template,

input_variables=['text'],

partial_variables={"format_instructions": format_instructions}

)

chain = clean_text | prompt | llm

from langchain.chains import TransformChain

df['text'] = ''

df['language'] = ''

df['main_character'] = ''

for i, text in enumerate(tqdm(df['raw_text'])):

    # YOUR CODE HERE

    text_clean_chain = TransformChain(

    input_variables=["text"],

    output_variables=["text"],

    transform=clean_text

    )

    text = text_clean_chain.invoke(text)['text']

    result = chain.invoke({'text': text})

    parsed_result = output_parser.parse(result.content)

    df.at[i, 'text'] = text

    df.at[i, 'language'] = parsed_result.get('language', '')

    df.at[i, 'main_character'] = parsed_result.get('name', '')

answers = []

for i,row in df.iterrows():

chat_history = ChatHistory()

prompt = f"""

{row['raw_text']}

text above is text on some real language but some signs could be replaced with another.

Из-за этого в текстах иногда могут встречаться странные символы: ¿, ¡, £.

Например, в немецком слове St£raß¿en этих символов сразу два.

your goal is to produce cleaned text, write what language it is written ( name language using English language), write main chararcter name

your goal is to return ONLY json with keys: text - очищенный текст.

language - язык, на котором написан текст. Указать на английском языке (например, не Русский, а Russian. Не Deutsch, а German)

main_character - имя главного героя произведения. На том же языке, как оно указано в тексте. (Hans, Pierrot, Анна)

"""

chat_history.add_message("user", prompt)

response = llm(chat_history,MODEL_TYPE_ ='chatgpt-4o-latest', SYSTEM_PROMPT_='',MAX_TOKENS_=2000, TEMPERATURE_= 0)

# print(response)

answers += [response]

import re
import pandas as pd
from tqdm import tqdm
from langchain_community.llms import Ollama
from langchain.prompts import ChatPromptTemplate
from langchain.output_parsers import ResponseSchema, StructuredOutputParser
model = Ollama(model="llama3:8b-instruct-q8_0", temperature=0.0)
df = pd.read_csv("https://stepik.org/media/attachments/lesson/1110883/raw_texts.csv")
def clean_text(text: str) -> str:
    return re.sub(r"[¿¡£]", '', text)
response_schemas = [
    ResponseSchema(name="language",
                   description="Language of the text. Indicate in English (e.g., not Русский, but Russian. Not Deutsch, but German)."),
    ResponseSchema(name="main_character",
                   description="Name of the main character in the text, as it appears, on the same language (e.g., Hans, Pierrot, Анна).")
]
output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
format_instructions = output_parser.get_format_instructions()
template = '''Из следующего текста извлеки информацию. Верни только JSON string with keys 'language' and 'main_character'.
text: {text}
{format_instructions}
Результат:'''
prompt = ChatPromptTemplate.from_template(template)
result_data = []
chain_with_parser = prompt | model | output_parser
for text in tqdm(df['raw_text']):
    cleaned_text = clean_text(text)
    response = chain_with_parser.invoke({'text': cleaned_text, 'format_instructions': format_instructions})
    print("Raw result content:", response)
    result_data.append({
        "text": cleaned_text,
        "language": response["language"],
        "main_character": response["main_character"]
    })
pd.DataFrame(result_data).to_csv('3.2.9_solution.csv', index=False)

Такое решение получилось. 
Обратная связь приветствуется - минусы, плюсы, рекомендации?
По правде говоря, использовал одну ручную правку - в одном в столбце 'language' для одного текста было 'ru' вместо 'Russian', хотя русских текстов было два.

import re
import pandas as pd
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain.output_parsers import ResponseSchema, StructuredOutputParser

from utils import ChatOpenAI
from getpass import getpass
course_api_key= "course_api_key"
llm = ChatOpenAI(temperature=0.0, course_api_key=course_api_key)

df = pd.read_csv("raw_texts.csv")

def clean_text(text) -> str:
    return re.sub("[¿¡£]", "", text)

df['text'] = df['raw_text'].apply(clean_text)

language_schema = ResponseSchema(
    name="language",
    description="Язык, на котором написан текст. Указать на английском языке. Например: не Русский, а Russian, не Deutsch, а German",
    type="string"
)
person_schema = ResponseSchema(
    name="main_character",
    description="Имя главного героя произведения. На том же языке, как оно указано в тексте. Например: Hans, Pierrot, Анна",
    type="string"
)
response_schemas = [language_schema, person_schema]
output_parser = StructuredOutputParser.from_response_schemas(response_schemas)

prompt = PromptTemplate(
    input_variables=["text"],
    template="Проанализируйте следующий текст: {text}. Верни JSON string with keys 'language' and 'main_character'."
)

chain = LLMChain(llm=llm, prompt=prompt, output_parser=output_parser)

texts = df['text'].tolist()
inputs = [{"text": t} for t in texts]

results = chain.batch(inputs)

df['language'] = [res['text']['language'] for res in results]
df['main_character'] = [res['text']['main_character'] for res in results]

df[['text', 'language', 'main_character']].to_csv('3.2.9_solution.csv', index=False)

itemgetter чтобы получить отдельную колонку "text" не беря её из выхода llm

chain_lang_mnchar = (prompt
                    | llm
                    | output_parser)

chain_combined = (
    RunnableLambda(clean_text)
    | {"text": itemgetter("text"),
       'lang_mnchar': chain_lang_mnchar}
    # here can be corrector if chain_lang_author is bad AI message
    | RunnableLambda(lambda input: {'text': input['text'],
                                   'language': input['lang_mnchar']['language'],
                                   'main_character':input['lang_mnchar']['main_character']
                                   })
)