月次まとめ - 2023.01

本ブログ立ち上げ以前のものも軽く追加

# ブログ

GitHub / Huggingface

• https://github.com/tanreinama/GPTSAN

• https://github.com/dmvaldman/html_semantic_seg

• https://github.com/ndl-lab/ndlocr_cli

• https://github.com/helblazer811/ManimML

• https://github.com/namuan/dr-doc-search

• https://github.com/chuhaojin/text2poster-icassp-22

• https://github.com/openai/openai-cookbook

• https://github.com/joisino/otbook

• https://github.com/dair-ai/ML-Papers-Explained

• https://github.com/Valkyrja3607/tuning_playbook_ja

• https://github.com/axinc-ai/ailia-models

• https://huggingface.co/kubota/luke-large-defamation-detection-japanese

• https://github.com/makcedward/nlpaug

• https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k

• https://recsyslab.github.io/recsys-python/

開発・技術系

• DockerでGPU版ONNXを使ってみる - Shikoan's ML Blog

• 【R&D DevOps通信】自社OCRエンジン「NineOCR」の学習効率化のためFeature Storeを導入した話 - Sansan Tech Blog

• 【非専門家向け】BERT - chiVe / chiTra 利活用に向けて Part3. - Qiita

• 日本語で Open-book な 質問応答システム構築してみた with Haystack＋Elasticsearch

• Google Cloud 上の PyTorch: Vertex AI に PyTorch モデルをデプロイする方法

• 教師なしクラスタリングのその先へ~次元削減と定量解析~ - Zenn

• ディープラーニングの先端技術、マルチモーダルの日本語モデルを作ってみた【日本語VL-T5】 - Qiita

• 単体テストのテスト項目の観点 - ソフトウェア雑記

• Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Hatena Blog

• [機械学習] AIOCRの仕組みと実装 - TeDokology

• 文字認識アルゴリズムのFOTSを実装したので，1から解説してみる（EASTも少し） - Qiita

• Understanding LightGBM Parameters (and How to Tune Them) - neptune.ai

• 【PyTorch】GPTをPrompt-tuningしてみた - 株式会社 AI Shift

• モバイルゲーム会社の機械学習グループを立ち上げた話 - Qiita

• 知識グラフをテキストデータ＋NLPから構築する時のイロハ - GMO

• 超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開

• ZOZOTOWN検索の精度改善の取り組み紹介 - ZOZO TECH BLOG

• 超高速…だけじゃない！Pandasに代えてPolarsを使いたい理由 - Qiita

• https://justbrowse.io/structured-data-queries

• LangChainによる質問応答データセットの自動生成を試す｜npaka - note

• 日本語ビジネスニュースコーパスを学習したBART事前学習済モデルの紹介 - stockmark

• How to Test Machine Learning Models - Deepchecks

• 画像認識を用いたZOZOTOWN商品に対するシーン・スタイルタグ予測 - ZOZO TECH BLOG

• Using LoRA for Efficient Stable Diffusion Fine-Tuning - huggingface.co

研究系

• Active Learning の基礎と最近の研究 - slideshare

• 【ECCV2022】Dense_Siamese_Network_for_Dense_Unsupervised_Learning 解説 - Speaker Deck

• ECCV 2022 におけるテキスト認識 - Zenn

• グラフに関する自由形式の質問にテキストで回答するタスク、OpenCQAが登場！ - AI-SCHOLOAR

• 「構造化知識を使った言語処理応用」ワークショップ ～森羅2022最終報告会～

• What Makes a Dialog Agent Useful? - huggingface.co

• Reaching 80% zero-shot accuracy with OpenCLIP: ViT-G/14 trained on LAION-2B - LAION

• Accelerating Document AI - huggingface.co

その他

• 技術的負債は開発者体験を悪化させる / Technical Debt and Developer Experience

• プレゼンスライドがみるみる良くなる基本の推敲技術 -事例付き解説-｜石原尚（大阪大学教員）- note

• 「私考える人、あなた作業する人」を越えて、プロダクトマネジメントがあたりまえになるチームを明日から実現していく方法/product management rsgt2023 - speaker deck

• 20230118 kazaneya TeckTalk3 Data Standards and Open Data Initiatives by the Digital Agency of Japan - Speaker Deck

• 日本発、世界に通用するSaaSプロダクトを目指して ～Sansan Globalのキーパーソンが語る東南アジア戦略～ - Sansan公式note

• 「えっと」「あのー」が多い人は思考のメモリ不足かも？会話のプロに聞いた"つなぎ言葉"の改善方法 - マイネ王

• 令和最新版エンジニアのリーダーシップ論 - エムスリーテックブログ

• 「意識を変えると行動が変わる」は、組織変革では順序が逆 会社に活力を取り戻す「チェンジマネジメント」のやり方 - logmi

• 機械学習を「社会実装」するということ 2023年版 / Social Implementation of Machine Learning 2023 - Speaker Deck

# 論文

Open Domain Question Answering

• Robinson+’22 - Leveraging Large Language Models for Multiple Choice Question Answering

• Ram+’22 - What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary

• Meng+’22 - Unsupervised Dense Retrieval Deserves Better Positive Pairs: Scalable Augmentation with Query Extraction and Generation

• Li+’22 - Self-Prompting Large Language Models for Open-Domain QA

• Jong+’22 - FiDO: Fusion-in-Decoder optimized for stronger performance and faster inference

• Sachan+’22 - Improving Passage Retrieval with Zero-Shot Question Generation (EMNLP)

• Zhou+’22 - Fine-Grained Distillation for Long Document Retrieval

• Hai+'23 - CoSPLADE: Contextualizing SPLADE for Conversational Information Retrieval (ECIR)

• Gao+'22 - Precise Zero-Shot Dense Retrieval without Relevance Labels

• Jong+'23 - Pre-computed memory or on-the-fly encoding? A hybrid approach to retrieval augmentation makes the most of your compute

• Yu+’23 - Generate rather than Retrieve: Large Language Models are Strong Context Generators (ICLR)

Vision and Language

• Ji+’22 - Abstract Visual Reasoning with Tangram Shapes (EMNLP)

• Lee+’22 - Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding

• Chang+’22 - MapQA: A Dataset for Question Answering on Choropleth Maps

• Liu+’22 - MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering

• Tito+’22 - Hierarchical multimodal transformers for Multi-Page DocVQA

• Wang+’23 - Alignment-Enriched Tuning for Patch-Level Pre-trained Document Image Models (AAAI)

• LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer

• Guo+’22 - From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models

• Corona+’22 - Does unsupervised grammar induction need pixels?

• Cha+’22 - Learning to Generate Text-grounded Mask for Open-world Semantic Segmentation from Only Image-Text Pairs

• Liu+'22 - Character-Aware Models Improve Visual Text Rendering

• Kil+’22 - PreSTU: Pre-Training for Scene-Text Understanding

• Yamada+'22 - When are Lemons Purple? The Concept Association Bias of CLIP

• Tanaka+'23 - SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images (AAAI)

• Lerner+'23 - Multimodal Inverse Cloze Task for Knowledge-based Visual Question Answering (ECIR)

• Chen+'23 - See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning

• Lan+'23 - Vision Transformers Are Good Mask Auto-Labelers

• Aberdam+'23 - CLIPTER: Looking at the Bigger Picture in Scene Text Recognition

• Kang+'22 - Noise-aware Learning from Web-crawled Image-Text Data for Image Captioning

• Nukrai+'22 - Text-Only Training for Image Captioning using Noise-Injected CLIP (EMNLP)

• Davis+’22 - End-to-end Document Recognition and Understanding with Dessurt

• Brooks+’23 - InstructPix2Pix: Learning to Follow Image Editing Instructions

• Singer+'22 - Text-To-4D Dynamic Scene Generation

• Li+'23 - BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

• Chen+'23 - STAIR: Learning Sparse Text and Image Representation in Grounded Tokens

Others

• Baydin+’22 - Gradients without Backpropagation

• Oswald+’22 - Transformers learn in-context by gradient descent

• He+’22 - DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models

• Wang+’22 - Text Embeddings by Weakly-Supervised Contrastive Pre-training

• Ding+'22 - Is GPT-3 a Good Data Annotator?

• Weers+'23 - Self Supervision Does Not Help Natural Language Supervision at Scale

• Yu+'23 - Dataset Distillation: A Comprehensive Review

• Sato+'22 - Active Learning from the Web

• Zhou+'22 - Are All Losses Created Equal: A Neural Collapse Perspective (NeurIPS)