StringTokenizer – специально предназначенный для этого класс стандартной библиотеки Java. Ему нужно задать разделители, по ним строка будет разделена на «токены». Это
устаревший класс, он остается в библиотеке только для обратной совместимости.
Вместо него рекомендуется использовать метод
String.split(). Метод принимает строку с регулярным выражением, и опциональный лимит токенов. Реализация особенно оптимизирована для односимвольного разделителя. Но следует помнить, что даже если символ один, это всё ещё регулярное выражение – спецсимвол должен экранироваться.
Другой подходящий метод –
Pattern.split(). Он, наоборот, вызывается у регулярного выражения, а принимает целевую строку. В этот же метод делегируется и выполнение
String.split(). Этот способ предпочтительнее, когда в регулярном выражении больше одного символа, а
скомпилированный паттерн применяется повторно.