在Windows上对一个非常大的（800GB）文本文件进行排序 sorting

CREATE SCHEMA `tmp` ; CREATE TABLE `tmp`.`words` ( `idwords` INT NOT NULL AUTO_INCREMENT, `mywords` VARCHAR(255) NULL, PRIMARY KEY (`idwords`)); 其次，导入数据。
例如，这将把所有的单词导入到表中；这个步骤可能需要一些时间来完成。我的建议是先用一个较小的文件进行测试，一旦确定格式与较大的文件相同（清空表格...即清除并加载完整的数据集），再进行操作。

LOAD DATA LOCAL INFILE "C:\words.txt" INTO TABLE tmp.words LINES TERMINATED BY 'rn' (mywords); 这个链接可能有助于正确加载数据的格式。 https://dev.mysql.com/doc/refman/5.7/en/load-data.html 例如，如果你需要跳过第一行，你可以按照以下步骤操作。

LOAD DATA LOCAL INFILE "H:\words.txt" INTO TABLE tmp.words -- FIELDS TERMINATED BY ',' LINES TERMINATED BY 'rn' IGNORE 1 LINES (mywords);

最后，保存排序后的文件。这可能需要一些时间，也取决于您的计算机。

SELECT tmp.words.mywords FROM tmp.words order by tmp.words.mywords asc INTO OUTFILE 'C:\sorted_words.csv'; 你也可以随意搜索数据，按照你喜欢的方式。
例如，这将按升序给出前50个单词（从零位置或第一个单词开始）。

SELECT tmp.words.mywords FROM tmp.words order by tmp.words.mywords asc LIMIT 0, 50 ;

排序

有许多算法可用于对有序和无序文件进行排序[1]。
由于所有这些算法已经实现，选择一个经过测试的程序。

在coreutils中（来自Linux，但也适用于Windows[2]），存在一个能够在多核处理器下并行运行的sort命令：通常已经足够了。

如果您的文件非常大，您可以使用拆分处理（split -l）将文件分成一些块，可能使用并行选项（--parallel），并使用-m选项将结果有序块进行排序（合并排序）。
其中一种方法是在此处解释的（拆分文件，对单个块排序，合并有序块，删除临时文件）。

注意：

q "select * from words.txt order by c1" 是指第一列的简写。

您可以使用以下方法排除重复单词

q "select distinct c1 from words.txt order by c1" 将输出发送到另一个文件中。

q "select distinct c1 from words.txt order by c1" > sorted.txt

Sorter.serializerTextUtf8() .input(inputFile) .output(outputFile) .loggerStdOut() // display some progress .sort(); 我用随机生成的16个字符的单词创建了一个1.7GB（100万行）的文件，并在142秒内按照上述方式进行了排序。根据我使用的方法的O(n log n)计算复杂度，我估计在我的i5 2.3GHz笔记本电脑上，使用单线程对800GB的16个字符的单词进行排序大约需要24小时，而且我还使用了SSD硬盘。