import re  # к сожалению, str.split() не умеет обрабатывать несколько символов, и нужен re
from pathlib import Path


def parse(path=Path.home() / 'Downloads' / 'wiki.train.tokens'):
    # /home/$USER/Downloads/wiki.train.tokens по умолчанию
    splitter = re.compile(r'[`\-=~!@#$%^&*()_+\[\]{};\'\\:"|<,./>?\s]')

    with open(path, 'r') as file:
        result = [
            word
            for line in file.readlines()  # итерация по строкам файла
            for word in splitter.split(line.strip())  # итерация по токенам
            if word  # токены - "пустые" строки выбрасываются
        ]
    return result


if __name__ == '__main__':
    # передайте правильный путь, если нужно
    lines = parse()