java文章重复率查询

我觉得用程序处理，再怎么快也不会有高效率，最好在使用这些数据时，先将数据导入数据库，用查询语句来处理，如distinct

一、这么大的数据量如果一次性放到一个Map中是否内存会使用过多，这是要考虑的，是否可以考虑批量处理呢？读取也可以用批量。二、假如一次性放到一个MAP中，是否可以保存到数据库中，保存的时候肯定是用批量处理。

用算法中的求最大相似子字符串的方法LCS或许可以，它可以找到两个字符串中最大相似的子字符串。Java code/** @author talent_marquis<甜菜侯爵>* Email: * Copyright (C) 2007 talent_marquis<甜菜侯爵>* All rights reserved.*/package ;/** LCS, Longest-Common-Subsequence*/public class LCS{public enum DIRECTION{ TOP, TOP_LEFT, LEFT };private char[] first;private char[] second;private int[][] lcsTable;private DIRECTION[][] lcsAssistTable;private int lcsLength;private String lcs_str, lcsMatrix_str, lcsAssistMatrix_str;private StringBuffer str_buffer;public LCS( String str1, String str2 ){first = ();second = ();lcsTable = new int[ + 1 ][ + 1 ];lcsAssistTable = new DIRECTION[ + 1 ][ + 1];lcs_str = null;

把数据表增加索引，提高查询效率，把数据排好序，测试查询速度，使用临时表保存排序好的数据，经过测试，处理插入100w条数据大概413秒，7分钟。