我有很大的文件需要读取到内存中。这些文件必须是人类可读的格式，因此它们会被制表符缩进污染，直到出现正常字符为止。例如，以下文本前面带有3个空格（等同于一个制表符缩进）
/// There is a tab before this text.
Sample Text There is a tab in between the word "Text" and "There" in this line.
9919
2250
{
""
5
255
}
当前，我只是运行以下代码替换选项卡（在文件加载到内存中之后...
void FileParser::ReplaceAll(
std::string& the_string,
const std::string& from,
const std::string& to) const
{
size_t start_pos = 0;
while ((start_pos = the_string.find(from, start_pos)) != std::string::npos)
{
the_string.replace(start_pos, from.length(), to);
start_pos += to.length(); // In case 'to' contains 'from', like replacing 'x' with 'yx'
}
}
此代码有两个问题...
任何人都可以提供一种解决方案来加速该过程，并且仅删除每行的初始制表符缩进吗？
我会这样：
std::string without_leading_chars(const std::string& in, char remove)
{
std::string out;
out.reserve(in.size());
bool at_line_start = true;
for (char ch : in)
{
if (ch == '\n')
at_line_start = true;
else if (at_line_start)
{
if (ch == remove)
continue; // skip this char, do not copy
else
at_line_start = false;
}
out.push_back(ch);
}
return out;
}
这是一次内存分配和一次通过，因此非常接近最佳。
一如既往。我们通常可以通过考虑好的算法并创建好的设计来提高速度。
第一条评论。我用100MB的源文件测试了您的方法，并且在我的计算机上以“释放”模式花费了至少30分钟并启用了所有优化功能。
而且，正如你自己提到的。它会重新排列所有空格，而不仅是文件开头的空格。因此，我们需要提出一个更好的解决方案
首先，我们考虑如何识别行首的空格。为此，我们需要一些布尔标志来指示我们在一行的开头。我们将其命名为beginOfLine，并将其初始设置为true，因为文件始终以一行开头。
然后，接下来，我们检查下一个字符是空格' '还是制表符'\t'。与其他解决方案相比，我们将同时检查两者。
如果是这种情况，那么我们就不必考虑输出中的空格或制表符，这取决于我们是否位于行首。因此，结果是beginOfLine的倒数。
如果字符不是空格或制表符，则我们检查换行符。如果找到一个，则将beginOfLine标志设置为true，否则设置为false。无论如何，我们都想使用该字符。
所有这些都可以放入一个简单的有状态Lambda中
auto check = [beginOfLine = true](const char c) mutable -> bool {
if ((c == ' ') || (c == '\t') )
return !beginOfLine;
beginOfLine = (c == '\n');
return true; };
或更紧凑：
auto check = [beginOfLine = true](const char c) mutable -> bool {
if (c == ' ' || c == '\t') return !beginOfLine; beginOfLine = (c == '\n'); return true; };
然后，下一个。我们不会删除原始字符串中的空格，因为这是一项巨大的内存转移活动，需要花费很长时间。相反，我们将数据（字符）复制到新的字符串中，但只复制一次。
为此，我们可以使用标准库中的std::copy_if。
std::copy_if(data.begin(), data.end(), data2.begin(), check);
这将完成工作。而对于100MB的数据，则需要160ms。与30分钟相比，这节省了很多时间。
请参阅示例代码（当然需要根据您的需要进行修改）：
#include <iostream>
#include <fstream>
#include <filesystem>
#include <iterator>
#include <algorithm>
#include <string>
namespace fs = std::filesystem;
constexpr size_t SizeOfIOStreamBuffer = 1'000'000;
static char ioBuffer[SizeOfIOStreamBuffer];
int main() {
// Path to text file
const fs::path file{ "r:\\test.txt" };
// Open the file and check, if it could be opened
if (std::ifstream fileStream(file); fileStream) {
// Lambda, that identifies, if we have a spece or tab at the begin of a line or not
auto check = [beginOfLine = true](const char c) mutable -> bool {
if (c == ' ' || c == '\t') return !beginOfLine; beginOfLine = (c == '\n'); return true; };
// Huge string with all file data
std::string data{};
// Reserve space to spped up things and to avoid uncessary allocations
data.resize(fs::file_size(file));
// Used buffered IO with a huge iobuffer
fileStream.rdbuf()->pubsetbuf(ioBuffer, SizeOfIOStreamBuffer);
// Elimiate spaces and tabs at the beginning of the line
std::copy_if(std::istreambuf_iterator<char>(fileStream), {}, data.begin(), check);
}
return 0;
}
如您所见，所有代码都归结为一个语句。对于100MB的文件，此操作（在我的计算机上）运行160毫秒。
可以进一步优化什么？当然，我们看到软件中有2个100MB std::string。真是浪费最终的优化是，将用于读取文件并删除一行开头的空格和制表符的2条语句放到一条语句中。
std::copy_if(std::istreambuf_iterator<char>(fileStream), {}, data.begin(), check);
然后，我们在内存中只有1倍的数据，消除了我们从不需要的文件中读取数据的废话。它的优点在于，通过使用现代C ++语言元素，只需要进行很小的修改即可。只需交换源迭代器即可：
std::copy_if(std::istreambuf_iterator<char>(fileStream), {}, data.begin(), check2);
是的，我知道字符串的结尾太大了，但是可以很容易地将其设置为实际值。例如，使用data.reserve（...）和back::inserter