Авторская утилита для очистки ключевиков KCleaner
Консольная утилита KCleaner под Windows для очистки ключевиков по базе стоп-слов.
Я являюсь автором этой программы.
Главное отличие от других утилит подобного рода - умение работать с большими объемами
данных, сохраняя при этом высокую скорость работы. Так, например, обработка файла ключей,
содержащего ~500 000 кеев, при файле стоп-слов, содержащем ~50 000 слов, на достаточно
скромной аппаратной конфигурации (AMD Sempron 2500 1.4GHz, 512Mb RAM), выполняется этой
утилитой за 7-8 секунд.
На вход kCleaner.exe принимает 4 параметра:
- входной файл, содержащий полный список ключей (по одному на строку), которые будем
фильтровать;
- входной файл стоп-слов (слова идут по одному в каждой строке, причем это должны быть
именно слова, а не фразы, то есть, внутри не должно быть пробелов!);
- выходной файл, который будет содержать список "хороших" ключевых слов
(слов, которые прошли фильтрацию стоп-словами). Файл создается в процессе работы.
- выходной файл, содержащий список "плохих" ключевых слов (тех слов, которые не прошли
фильтрацию стоп-словами). Файл тоже создается в процессе работы.
Оба входных файлы должны быть в кодировке Windows-1251.
Пример вызова утилиты:
>kcleaner.exe in.txt stop.txt good.txt bad.txt
,где
in.txt - входной файл с ключевыми словами/фразами,
stop.txt - входной файл со стоп-словами,
good.txt и bad.txt - имена формируемых файлов "хороших" и "плохих"
ключевиков, соответственно
Принцип работы утилиты заключается в просмотре ключевых слов и фильтрации их
по следующему критерию: если в ключ входит какое-либо стоп-слово (входит именно
как отдельное слово, а не как подстрока ключевика!), этот ключевик попадает в выходной
файл, содержащий "плохие" ключевые слова. Если же ни одно стоп-слово в текущий кейворд
не входит, то ключевик попадает в файл "хороших" ключевых слов.
Работа утилиты проверялась на Windows XP, но с высокой долей вероятности она должна работать
и в других версиях OS Windows.
Скачать »
Консольная утилита KCleaner под Windows для очистки ключевиков по базе стоп-слов.
Я являюсь автором этой программы.
Главное отличие от других утилит подобного рода - умение работать с большими объемами
данных, сохраняя при этом высокую скорость работы. Так, например, обработка файла ключей,
содержащего ~500 000 кеев, при файле стоп-слов, содержащем ~50 000 слов, на достаточно
скромной аппаратной конфигурации (AMD Sempron 2500 1.4GHz, 512Mb RAM), выполняется этой
утилитой за 7-8 секунд.
На вход kCleaner.exe принимает 4 параметра:
- входной файл, содержащий полный список ключей (по одному на строку), которые будем
фильтровать;
- входной файл стоп-слов (слова идут по одному в каждой строке, причем это должны быть
именно слова, а не фразы, то есть, внутри не должно быть пробелов!);
- выходной файл, который будет содержать список "хороших" ключевых слов
(слов, которые прошли фильтрацию стоп-словами). Файл создается в процессе работы.
- выходной файл, содержащий список "плохих" ключевых слов (тех слов, которые не прошли
фильтрацию стоп-словами). Файл тоже создается в процессе работы.
Оба входных файлы должны быть в кодировке Windows-1251.
Пример вызова утилиты:
>kcleaner.exe in.txt stop.txt good.txt bad.txt
,где
in.txt - входной файл с ключевыми словами/фразами,
stop.txt - входной файл со стоп-словами,
good.txt и bad.txt - имена формируемых файлов "хороших" и "плохих"
ключевиков, соответственно
Принцип работы утилиты заключается в просмотре ключевых слов и фильтрации их
по следующему критерию: если в ключ входит какое-либо стоп-слово (входит именно
как отдельное слово, а не как подстрока ключевика!), этот ключевик попадает в выходной
файл, содержащий "плохие" ключевые слова. Если же ни одно стоп-слово в текущий кейворд
не входит, то ключевик попадает в файл "хороших" ключевых слов.
Работа утилиты проверялась на Windows XP, но с высокой долей вероятности она должна работать
и в других версиях OS Windows.
Скачать »