PrimeQA: The Prime Repository for QA
  • Installation
  • Development
  • Testing
  • API
  • Tutorials
  • GitHub
  • Slack
  • args_helper
    • primeqa.util.args_helper.fill_from_args
    • primeqa.util.args_helper.fill_from_dict
    • primeqa.util.args_helper.name_value_list
  • dataloader
    • distloader_base
      • primeqa.util.dataloader.distloader_base.sentence_to_inputs
      • primeqa.util.dataloader.distloader_base.DistBatchesBase
      • primeqa.util.dataloader.distloader_base.MultiFileLoader
    • distloader_seq_pair
      • primeqa.util.dataloader.distloader_seq_pair.standard_json_mapper
      • primeqa.util.dataloader.distloader_seq_pair.SeqPairBatches
      • primeqa.util.dataloader.distloader_seq_pair.SeqPairInst
      • primeqa.util.dataloader.distloader_seq_pair.SeqPairLoader
    • file_splitter
      • primeqa.util.dataloader.file_splitter.main
      • primeqa.util.dataloader.file_splitter.Options
  • file_utils
    • primeqa.util.file_utils.block_shuffle
    • primeqa.util.file_utils.expand_files
    • primeqa.util.file_utils.gunzip_str
    • primeqa.util.file_utils.gzip_str
    • primeqa.util.file_utils.jsonl_files
    • primeqa.util.file_utils.jsonl_lines
    • primeqa.util.file_utils.np2str
    • primeqa.util.file_utils.read_lines
    • primeqa.util.file_utils.read_open
    • primeqa.util.file_utils.shuffled_writer
    • primeqa.util.file_utils.stdout_or_file_open
    • primeqa.util.file_utils.str2np
    • primeqa.util.file_utils.write_open
    • primeqa.util.file_utils.ShuffledWriter
  • metrics
    • primeqa.util.metrics.multiclass_score_metrics
    • primeqa.util.metrics.score_metrics
    • primeqa.util.metrics.simple_accuracy
  • reporting
    • primeqa.util.reporting.time_str
    • primeqa.util.reporting.Reporting
  • transformers_utils
    • hypers_base
      • primeqa.util.transformers_utils.hypers_base.dist_initialize
      • primeqa.util.transformers_utils.hypers_base.HypersBase
    • model_utils
      • primeqa.util.transformers_utils.model_utils.load_only_extended_model
      • primeqa.util.transformers_utils.model_utils.load_pretrained
      • primeqa.util.transformers_utils.model_utils.load_tokenizer
      • primeqa.util.transformers_utils.model_utils.save_extended_model
      • primeqa.util.transformers_utils.model_utils.save_transformer
    • optimizer_utils
      • primeqa.util.transformers_utils.optimizer_utils.LossHistory
      • primeqa.util.transformers_utils.optimizer_utils.TransformerOptimize
    • torch_utils
      • primeqa.util.transformers_utils.torch_utils.all_gather
      • primeqa.util.transformers_utils.torch_utils.reduce
      • primeqa.util.transformers_utils.torch_utils.to_tensor
primeqa

primeqa.util.transformers_utils.model_utils.load_tokenizer#

primeqa.util.transformers_utils.model_utils.load_tokenizer(hypers: primeqa.util.transformers_utils.hypers_base.HypersBase, tokenizer_class, additional_special_tokens=())#